Doppelte Zeilen aus CSV entfernen

Exakte Duplikate oder ausgewählte Spalten

Standardmäßig gilt eine Zeile als Duplikat, wenn alle Spaltenwerte exakt übereinstimmen. Alternativ lässt sich festlegen, dass nur ausgewählte Spalten für den Vergleich zählen, etwa nur die Kundennummer, auch wenn sich andere Spalten wie ein Zeitstempel zwischen den Zeilen unterscheiden. So bestimmen Sie selbst, was in Ihrem konkreten Fall überhaupt als Duplikat gilt und was nicht, ganz nach Bedarf und Kontext.

Welche Zeile erhalten bleibt

Werden mehrere gleiche Zeilen gefunden, bleibt standardmäßig die erste im Ergebnis erhalten, alle weiteren werden entfernt. Die ursprüngliche Reihenfolge der übrigen Zeilen bleibt dabei unverändert, sodass sich das Ergebnis leicht mit der Ausgangsdatei vergleichen lässt, auch wenn dazwischen einzelne Zeilen entfernt wurden und somit im Ergebnis fehlen und nicht mehr auftauchen können, was beabsichtigt ist und dem Zweck der Bereinigung dient.

Ein Unterschied zur ähnlichkeitsbasierten Suche

Diese Funktion erkennt ausschließlich exakte Übereinstimmungen der verglichenen Spalten. Zeilen, die inhaltlich dasselbe meinen, sich aber in der Schreibweise unterscheiden, etwa durch einen Tippfehler im Firmennamen, werden hier nicht erkannt; dafür gibt es die semantische Duplikatsuche als eigene, auf Ähnlichkeit statt exakter Übereinstimmung ausgelegte Funktion für genau diesen speziellen, in der Praxis sehr häufigen und oft lange übersehenen, teuren Fall.

Wo Sie es nutzen

Die Entfernung läuft im Browser, kostenlos und ohne Limit, ohne dass die Datei übertragen wird. Über die API lässt sich derselbe Schritt automatisieren, etwa direkt nach dem Zusammenführen mehrerer Exportdateien, bevor das Ergebnis in eine Anwendung oder Datenbank importiert wird, ohne manuellen Kontrollschritt dazwischen einzuschieben oder gänzlich zu vergessen, jedes einzelne Mal wieder ganz von Neuem und ohne zusätzlichen Aufwand für Ihr Team.