Doppelte Zeilen aus Text entfernen

Was bedeutet doppelte Zeilen entfernen?

Input:
  alice@example.com
  bob@example.com
  alice@example.com
  ALICE@example.com

Exact dedupe (case-sensitive):
  alice@example.com
  bob@example.com
  ALICE@example.com

Case-insensitive dedupe (default):
  alice@example.com
  bob@example.com   ← ALICE collapsed into alice

Hauptfunktionen

Beispiele für das Entfernen doppelter Zeilen

apple
banana
apple
cherry
banana

apple
banana
cherry

Error
error
ERROR
Warning

Error
Warning

apple
  apple  
banana
banana

apple
banana

v1
v2
v1
v3

v2
v1
v3

dog
cat
dog
bird
cat

bird
cat
dog

alpha

beta
alpha

gamma

alpha
beta
gamma

a
b
a
a
c
b

a
b
c

red
green
blue
green
yellow
red

red
green
blue
yellow

So entfernen Sie doppelte Zeilen

1. 1

   Zeilen einfügen oder eintippen

   Setzen Sie Ihren Text in das Eingabefeld. Jeder Zeilenumbruch ist eine eigene Zeile. Duplikate werden sofort beim Tippen entfernt — es gibt keinen Absende-Button. Ein abschließender Zeilenumbruch wird ignoriert, sodass er nicht als zusätzliche leere Zeile zählt.

2. 2

   Wählen, was als Duplikat zählt

   Lassen Sie Groß-/Kleinschreibung beachten aus, um `Foo` und `foo` als dasselbe zu behandeln, oder schalten Sie es ein, um sie getrennt zu halten. Aktivieren Sie Führende/nachfolgende Leerzeichen ignorieren, um Zeilen abzufangen, die sich nur durch verirrte Leerzeichen unterscheiden.

3. 3

   Wählen, welches Vorkommen zu behalten ist

   Vorkommen behalten steht standardmäßig auf Erstes und erhält die ursprüngliche Reihenfolge. Wechseln Sie zu Letztes, wenn das letzte Auftreten jeder Zeile gewinnen soll — nützlich für Overrides, bei denen spätere Einträge frühere ersetzen.

4. 4

   Sortierung oder Bereinigung bei Bedarf hinzufügen

   Aktivieren Sie eine Sortierreihenfolge, um das eindeutige Ergebnis alphabetisch zu ordnen, oder schalten Sie Leere Zeilen entfernen und Jede Zeile trimmen ein, um die Liste im selben Durchgang aufzuräumen. Das Statistik-Badge zeigt die Wirkung jedes Schalters.

5. 5

   Eindeutiges Ergebnis kopieren

   Klicken Sie auf Kopieren, um die entduplizierte Ausgabe in Ihre Zwischenablage zu legen. Verwenden Sie Zurücksetzen, um beide Felder zu leeren, oder Beispiel, um eine Beispielliste zu laden. Nichts wird zu irgendeinem Zeitpunkt im Ablauf hochgeladen.

Häufige Entduplizierungsfehler

Exakter Abgleich ("apple " ≠ "apple"):
  apple
  apple     ← nachfolgendes Leerzeichen, als eindeutig behalten
  banana

Leerzeichen ignorieren:
  apple
  banana

Groß-/Kleinschreibung beachten an:
  Error
  error
  ERROR   ← alle drei behalten

Ohne Groß-/Kleinschreibung (Standard):
  Error   ← der Rest fällt zusammen

uniq-Verhalten angenommen (nur benachbart):
  a
  b
  a   ← erwartet zu überleben, wird aber entfernt

Volle Entduplizierung (dieses Tool):
  a
  b   ← das spätere 'a' wird entfernt, wo immer es auftritt

Nur Entduplizierung (eine Leerzeile behalten):
  alpha
  (leer)
  beta

Entduplizierung + Leere Zeilen entfernen:
  alpha
  beta

Doppelte Zeilen entfernen: Anwendungsfälle

E-Mail- & Kontaktlisten bereinigen

Fügen Sie eine exportierte Mailingliste ein, die Wiederholungen angesammelt hat, und erhalten Sie eine eindeutige Menge zurück. Aktivieren Sie den Groß-/Kleinschreibung- und Leerzeichen-unabhängigen Abgleich, sodass `Bob@x.com`, `bob@x.com` und `bob@x.com ` alle zu einer Adresse zusammenfallen.

Logs auf eindeutige Meldungen reduzieren

Entduplizieren Sie ein verrauschtes Log, um die eindeutigen Fehler- oder Ereigniszeilen ohne die Wiederholung zu sehen. Letztes-Behalten ist praktisch, wenn das jüngste Auftreten jeder Meldung mehr zählt als das erste.

Eindeutige Werte in einer Spalte finden

Kopieren Sie eine Spalte aus einer CSV oder Tabelle, entduplizieren Sie sie, und die Ausgabe ist die Menge der eindeutigen Werte — mit einer Zählung, wie viele Duplikate es gab, die zugleich als schnelle Kardinalitätsprüfung dient. Sie können damit auch doppelte Zeilen finden und Duplikat-Zeilen aus einer eingefügten Spalte ohne Tabellenformel entfernen.

Listen ohne Wiederholungen zusammenführen

Fügen Sie zwei oder mehr Listen hintereinander ein und entduplizieren Sie, um ihre Vereinigung zu erhalten: jede eindeutige Zeile, keine Wiederholungen, in Reihenfolge des ersten Auftretens. Schneller als eine Tabellenformel für eine einmalige Zusammenführung von Tags, IDs oder Namen.

Security-Wortlisten entduplizieren

Kombinieren und bereinigen Sie Passwort-Wortlisten, Subdomain-Listen oder Fuzzing-Wörterbücher vollständig offline. Da jeder Vorgang lokal ist, bleiben vertrauliche Security-Daten auf Ihrem Rechner und werden nie an einen externen Dienst gesendet.

Import- oder Abhängigkeitslisten aufräumen

Entfernen Sie doppelte Import-Anweisungen, Paketnamen oder Abhängigkeitseinträge, die sich beim Kopieren eingeschlichen haben. Fügen Sie eine Sortierreihenfolge hinzu, um eine kanonische, eindeutige Liste zu erzeugen, die künftige Diffs klein hält.

Daten für die Analyse vorbereiten

Entfernen Sie Wiederholungen vor dem Zählen, Visualisieren oder Laden von Daten, damit Duplikate Ihre Ergebnisse nicht verzerren. Kombinieren Sie mit dem Wortzähler, um die bereinigte Liste zu messen, oder mit Text-Diff, um sie mit einer anderen Version zu vergleichen.

Keyword-Listen für SEO entduplizieren

Keyword-Research-Exporte sind voller Beinahe-Duplikate. Entfernen Sie hier exakte Wiederholungen, optional kleingeschrieben und getrimmt, um eine saubere eindeutige Keyword-Menge zu erhalten, bevor Sie sie gruppieren oder Seiten zuordnen.

Wie die Entduplizierung funktioniert

Hash-Set-Entduplizierung

Zeilen werden mit einem Hash-Set (ein JavaScript-`Set` oder `Map`) entdupliziert, das auf die Vergleichsform jeder Zeile verschlüsselt ist, was auch bei großen Listen lineare Laufzeit ergibt. Der Schlüssel jeder Zeile wird einmal berechnet und in konstanter Zeit nachgeschlagen.

Normalisierung des Vergleichsschlüssels

Der zum Abgleich verwendete Schlüssel wird aus der Zeile abgeleitet: zuerst getrimmt, falls Führende/nachfolgende Leerzeichen ignorieren an ist, dann kleingeschrieben, falls Groß-/Kleinschreibung beachten aus ist. Die ursprüngliche Zeile — nicht der normalisierte Schlüssel — ist das, was in der Ausgabe erscheint, sodass Schreibweise und Abstände der Überlebenden erhalten bleiben.

Erstes-Behalten vs. Letztes-Behalten

Erstes-Behalten schiebt eine Zeile beim ersten Sehen ihres Schlüssels in das Ergebnis und überspringt spätere Wiederholungen. Letztes-Behalten berechnet den finalen Index jedes Schlüssels und behält nur die Zeile an diesem Index, sodass die überlebende Kopie an ihrer letzten Position sitzt, während die Gesamtreihenfolge weiterhin der Eingabe folgt.

Zeilenaufteilung (CRLF / LF / CR)

Zeilen werden an jeder Zeilenumbruch-Konvention getrennt — `\r\n` (Windows), `\n` (Unix) oder `\r` (klassischer Mac) — sodass gemischte oder eingefügte Eingabe einfach funktioniert. Ein abschließender Zeilenumbruch wird vor der Verarbeitung entfernt, sodass eine Datei, die mit einem Zeilenumbruch endet, kein Phantom-Leer-Duplikat am Ende registriert.

Deterministische Pipeline-Reihenfolge

Die Pipeline läuft in einer festen Reihenfolge — Leerzeichen-Trimmen, dann Entfernen leerer Zeilen, dann Entduplizierung, dann Sortierung oder Mischen, dann Umkehren, dann Zeilennummerierung. Weil Duplikate vor dem optionalen Sortierschritt zusammengefasst werden, ordnet das Aktivieren einer Sortierreihenfolge die eindeutige Menge neu, ohne je eine eindeutige Zeile zu verwerfen.

Getrennte Duplikat- & Leer-Zählungen

Das Statistik-Badge verfolgt entfernte Duplikate und entfernte leere Zeilen unabhängig, berechnet als Zeilenzähl-Differenz vor und nach jeder Stufe. So sehen Sie zum Beispiel `1 Duplikate entfernt · 2 leere entfernt` statt einer einzigen kombinierten Zahl.

Im Browser, keine Worker nötig

Die gesamte Entduplizierung läuft im Haupt-Thread Ihres Browsers ohne Server-Roundtrips. Typische Listen sind sofort erledigt; weil der Algorithmus linear und Set-basiert ist, skaliert die Leistung ohne Einfrieren der Seite anmutig auf sehr große Eingaben.

Best Practices für die Entduplizierung

Leerzeichen trimmen, um versteckte Duplikate abzufangen

Der häufigste Grund, warum Duplikate überleben, ist unsichtbares nachfolgendes Leerzeichen. Wenn Sie aus Tabellen, PDFs oder Terminals eingefügte Daten entduplizieren, aktivieren Sie Führende/nachfolgende Leerzeichen ignorieren, sodass Zeilen auf ihrer getrimmten Form verglichen werden. Ist die Zahl entfernter Duplikate niedriger als erwartet, ist meist Leerzeichen der Grund.

Über die Groß-/Kleinschreibung bewusst entscheiden

Für E-Mails, Tags und menschenlesbare Listen lassen Sie Groß-/Kleinschreibung beachten aus, sodass `Foo` und `foo` zusammenfallen. Aktivieren Sie es nur für Groß-/Kleinschreibung-relevante Daten wie Bezeichner oder Hashes, bei denen `A1B2` und `a1b2` echt unterschiedliche Werte sind. Falsch zu wählen ändert still, welche Zeilen überleben.

Letztes-Behalten für Override-Semantik verwenden

Wenn spätere Einträge gewinnen sollen — Konfigurations-Overrides, Umgebungsvariablen, ein Log, in dem der neueste Status zählt — stellen Sie Vorkommen behalten auf Letztes. Für allgemeine Listenbereinigung, bei der die Reihenfolge von oben erhalten bleiben soll, behalten Sie den Standard Erstes.

Vor dem Zählen oder Analysieren entduplizieren

Wiederholungen verzerren Zählungen, Diagramme und Aggregate. Entfernen Sie zuerst Duplikate, dann messen Sie. Das Statistik-Badge dient zugleich als schnelle Kardinalitätsprüfung: die Differenz zwischen Zeilen hinein und Zeilen heraus sagt Ihnen, wie viel Wiederholung die Daten trugen.

Nach dem Entduplizieren für eine kanonische Liste sortieren

Wenn Sie eine stabile, vergleichbare Liste brauchen — für eine Config-Datei, ein Manifest oder ein Diff — aktivieren Sie eine Sortierreihenfolge zusammen mit der Entduplizierung. Eine eindeutige, sortierte Liste erzeugt minimale Diffs und ist leicht mit einer anderen Version per Text-Diff zu vergleichen.

Vor dem Kopieren mit der Live-Zählung prüfen

Werfen Sie vor dem Kopieren einen Blick auf das Statistik-Badge. `12 Zeilen → 9 Zeilen · 3 Duplikate entfernt` bestätigt, dass das Tool das Beabsichtigte getan hat. Wenn die Zahlen daneben aussehen — null entfernt, obwohl Sie Wiederholungen erwarteten — prüfen Sie die Groß-/Kleinschreibung- und Leerzeichen-Einstellungen erneut.

Häufig gestellte Fragen