Supprimer les lignes en double d'un texte
Supprimez les lignes en double d'un texte en ligne — gratuit et instantané, 100 % dans le navigateur. Ignorez la casse ou les espaces, gardez la première ou la dernière occurrence. Sans inscription.
Que signifie supprimer les lignes en double ?
Supprimer les lignes en double — dédoublonnage, ou « dédup » — signifie parcourir un bloc de texte séparé par des sauts de ligne et ne conserver qu'une seule copie de chaque ligne distincte. C'est l'une des tâches de nettoyage les plus courantes que rencontre quiconque travaille avec des données : fusionner une liste de diffusion qui a accumulé des répétitions, réduire un journal à ses messages uniques, trouver les valeurs distinctes d'une colonne de tableur, ou combiner plusieurs listes en un seul ensemble propre.
La question intéressante est de savoir ce qui compte comme un doublon. La comparaison octet pour octet est la réponse stricte, mais les vraies données sont plus désordonnées. Deux lignes peuvent sembler identiques tout en différant par un espace de fin, ou ne varier que par la capitalisation — `Error` contre `error`. Cet outil vous laisse décider : par défaut, il ignore la casse, et vous pouvez activer une comparaison insensible aux espaces pour que les lignes soient appariées sur leur forme rognée et en minuscules. Ainsi, vous dédoublonnez sur le sens d'une ligne plutôt que sur son encodage exact, ce qui est presque toujours ce que vous voulez réellement.
L'autre décision est de savoir quelle copie conserver. Garder la première occurrence préserve l'ordre d'origine et c'est le comportement par défaut ; garder la dernière est utile quand des entrées ultérieures remplacent les précédentes. Dans les deux cas, le résultat est déterministe et le badge de statistiques en direct vous indique exactement combien de doublons ont été supprimés, vous n'avez donc jamais à faire aveuglément confiance à l'outil.
Le dédoublonnage se marie naturellement avec le tri et d'autres nettoyages. Cet outil les réunit dans un seul panneau : supprimer les doublons, puis éventuellement trier, rogner les espaces, éliminer les lignes vides, inverser ou ajouter des numéros de ligne. Quand le tri est l'événement principal, utilisez l'outil compagnon Trier des lignes de texte, qui partage le même moteur. Pour compter les lignes et les mots de votre texte, utilisez le Compteur de mots ; pour voir ce qui a changé entre deux versions d'une liste, utilisez Text Diff ; et pour normaliser la casse avant de dédoublonner, utilisez le Convertisseur de casse.
Tout s'exécute entièrement dans votre navigateur sans aucun téléversement, donc dédoublonner une liste confidentielle est exactement aussi privé que de l'éditer localement. Collez, et le résultat unique est prêt à copier en une seconde.
Input: alice@example.com bob@example.com alice@example.com ALICE@example.com Exact dedupe (case-sensitive): alice@example.com bob@example.com ALICE@example.com Case-insensitive dedupe (default): alice@example.com bob@example.com ← ALICE collapsed into alice
Fonctionnalités clés
Dédoublonnage préservant l'ordre
Conserve chaque ligne unique une fois dans son ordre d'origine par défaut — le même comportement que `awk '!seen[$0]++'` mais sans terminal. Votre liste reste dans la séquence où vous l'avez collée, simplement sans les répétitions.
Conserver la première ou la dernière occurrence
Choisissez si la première ou la dernière apparition de chaque ligne survit. Conserver-première préserve l'ordre pour un nettoyage général ; conserver-dernière est idéal quand des entrées ultérieures remplacent les précédentes, comme des valeurs de config ou d'environnement.
Correspondance insensible à la casse
Par défaut, `Error`, `error` et `ERROR` fusionnent en une seule ligne — le choix naturel pour la plupart des listes. Activez Sensible à la casse quand la casse est significative et que les doublons doivent correspondre exactement.
Correspondance insensible aux espaces
Ignorer les espaces de début/fin attrape les doublons invisibles qui ne diffèrent que par un espace de fin ou une tabulation — la première raison pour laquelle des lignes « identiques » ne se dédoublonnent pas dans les données collées depuis des tableurs et des PDF.
Décompte de doublons en direct
Un badge de statistiques affiche `12 lignes → 9 lignes · 3 doublons supprimés` à mesure que vous tapez. Vous savez toujours exactement combien de répétitions ont été fusionnées — pas besoin de deviner si l'outil a réellement fait quelque chose.
Dédoublonner + trier en une passe
Activez un ordre de tri pour obtenir une liste unique, classée par ordre alphabétique (ou naturel, ou par longueur) en une seule étape. Le dédoublonnage s'exécute d'abord, puis le tri, donc rien n'est perdu et la sortie est à la fois propre et ordonnée.
Bascules de nettoyage
Le même panneau rogne aussi les espaces, élimine les lignes vides, inverse l'ordre et numérote les résultats. Empilez n'importe laquelle par-dessus le dédoublonnage et une liste collée chaotique devient une sortie propre, unique et prête à coller, au même endroit — aucun script requis.
Confidentialité 100 % dans le navigateur
Votre texte ne quitte jamais la page — aucun téléversement, aucune journalisation, aucune analytique. Sûr pour les listes d'e-mails, les journaux d'accès et les données confidentielles. Vérifiez-le vous-même dans l'onglet Réseau : le dédoublonnage produit zéro requête.
Exemples de suppression de lignes en double
Supprimer les doublons exacts
apple banana apple cherry banana
apple banana cherry
Le comportement par défaut : chaque ligne est conservée une fois, à sa première apparition, et les répétitions exactes ultérieures sont éliminées. L'ordre d'origine est préservé. Le badge de statistiques indique `5 lignes → 3 lignes · 2 doublons supprimés`.
Ignorer la casse
Error error ERROR Warning
Error Warning
Avec Sensible à la casse désactivé (par défaut), `Error`, `error` et `ERROR` sont traités comme la même ligne, donc seule la première est conservée. Activez Sensible à la casse pour garder les trois comme des entrées distinctes.
Ignorer les espaces de début/fin
apple apple banana banana
apple banana
Activez Ignorer les espaces de début/fin pour que `apple` et ` apple ` se comparent comme égales. Cela attrape les doublons invisibles qui gangrènent les données copiées depuis des tableurs, des PDF et des terminaux où un espace de fin se glisse.
Conserver la dernière occurrence
v1 v2 v1 v3
v2 v1 v3
Passez Conserver l'occurrence à Dernière et la dernière apparition de chaque ligne survit, à sa dernière position. Ici le second `v1` est conservé et le premier est supprimé. Utile quand des entrées ultérieures remplacent les précédentes, comme des variables d'environnement ou des surcharges de config.
Dédoublonner et trier ensemble
dog cat dog bird cat
bird cat dog
Activez le tri Croissant pour obtenir une liste propre, unique et classée par ordre alphabétique en une seule étape. Le dédoublonnage s'exécute d'abord, puis le tri, donc la sortie est à la fois unique et ordonnée — idéal pour transformer une colonne collée en désordre en un ensemble net.
Supprimer les lignes vides et les doublons
alpha beta alpha gamma
alpha beta gamma
Activez Supprimer les lignes vides en plus du dédoublonnage pour éliminer les lignes vides et les répétitions d'un coup. Le badge de statistiques sépare les deux : `6 lignes → 3 lignes · 1 doublons supprimés · 2 vides supprimés`.
Compter combien de doublons existent
a b a a c b
a b c
Même si vous ne vous souciez que du décompte, le dédoublonnage vous donne la réponse : le badge de statistiques affiche `6 lignes → 3 lignes · 3 doublons supprimés`. Un moyen rapide de savoir combien de répétitions se cachent dans une liste sans les compter à la main.
Fusionner deux listes en entrées uniques
red green blue green yellow red
red green blue yellow
Collez deux listes bout à bout et dédoublonnez pour obtenir l'union — chaque ligne distincte, sans répétitions, l'ordre de première apparition préservé. Le moyen le plus rapide de combiner des listes de diffusion, des ensembles de tags ou des listes d'ID sans formule de tableur.
Comment supprimer les lignes en double
- 1
Collez ou tapez vos lignes
Déposez votre texte dans la zone de saisie. Chaque saut de ligne est une ligne distincte. Les doublons sont supprimés instantanément à mesure que vous tapez — il n'y a aucun bouton de validation. Un saut de ligne final est ignoré, il ne comptera donc pas comme une ligne vide supplémentaire.
- 2
Choisissez ce qui compte comme un doublon
Laissez Sensible à la casse désactivé pour traiter `Foo` et `foo` comme identiques, ou activez-le pour les garder distincts. Activez Ignorer les espaces de début/fin pour attraper les lignes qui ne diffèrent que par des espaces parasites.
- 3
Choisissez quelle occurrence conserver
Conserver l'occurrence est réglé sur Première par défaut, préservant l'ordre d'origine. Passez à Dernière quand la dernière apparition de chaque ligne doit l'emporter — utile pour les surcharges où des entrées ultérieures remplacent les précédentes.
- 4
Ajoutez tri ou nettoyage si besoin
Activez un ordre de tri pour classer le résultat unique par ordre alphabétique, ou activez Supprimer les lignes vides et Rogner chaque ligne pour ranger la liste dans la même passe. Le badge de statistiques montre l'effet de chaque bascule.
- 5
Copiez le résultat unique
Cliquez sur Copier pour placer la sortie dédoublonnée dans votre presse-papiers. Utilisez Réinitialiser pour effacer les deux zones, ou Exemple pour charger une liste d'exemple. Rien n'est téléversé à aucun moment du processus.
Erreurs de dédoublonnage courantes
Des espaces qui cachent les doublons
Les lignes qui semblent identiques mais diffèrent par un espace de fin ou une tabulation ne sont pas des doublons exacts, elles survivent donc. Activez Ignorer les espaces de début/fin pour comparer sur la forme rognée. C'est la surprise de dédoublonnage la plus fréquente, surtout avec des données de tableur et de PDF.
Correspondance exacte ("apple " ≠ "apple") :
apple
apple ← espace de fin, gardé comme unique
banana Ignorer les espaces : apple banana
Différence de casse traitée comme unique
Avec Sensible à la casse activé, `Error` et `error` sont des lignes différentes et survivent toutes deux. Si vous vouliez qu'elles soient identiques, désactivez Sensible à la casse (par défaut). À l'inverse, le désactiver quand la casse est significative peut fusionner des lignes que vous vouliez garder séparées.
Sensible à la casse activé : Error error ERROR ← les trois conservés
Insensible à la casse (par défaut) : Error ← les autres fusionnent
Attendre que les doublons non adjacents restent
Contrairement au `uniq` en ligne de commande, cet outil supprime les doublons n'importe où dans la liste, pas seulement les adjacents — vous n'avez donc pas besoin de trier d'abord. Si vous vouliez réellement ne fusionner que les répétitions consécutives, cet outil ne convient pas ; triez ou restructurez plutôt vos données.
En supposant le comportement de uniq (adjacents seulement) : a b a ← censé survivre, mais il est supprimé
Dédoublonnage complet (cet outil) : a b ← le 'a' ultérieur est supprimé où qu'il apparaisse
Confondre suppression des lignes vides et dédoublonnage
Le dédoublonnage fusionne les lignes vides répétées mais en garde une ; il ne supprime pas toutes les lignes vides. Pour éliminer chaque ligne vide, activez Supprimer les lignes vides. Le badge de statistiques indique les deux décomptes séparément, vous pouvez donc dire si ce sont les vides ou les vrais doublons qui ont été supprimés.
Dédoublonnage seul (une vide conservée) : alpha (vide) beta
Dédoublonnage + Supprimer les lignes vides : alpha beta
Supprimer les lignes en double : cas d'usage
- Nettoyer les listes d'e-mails et de contacts
- Collez une liste de diffusion exportée qui a accumulé des répétitions et récupérez un ensemble unique. Activez la correspondance insensible à la casse et aux espaces pour que `Bob@x.com`, `bob@x.com` et `bob@x.com ` fusionnent tous en une seule adresse.
- Réduire les journaux à des messages uniques
- Dédoublonnez un journal bruyant pour voir les lignes d'erreur ou d'événement distinctes sans la répétition. Conserver-dernière est pratique quand l'occurrence la plus récente de chaque message compte plus que la première.
- Trouver les valeurs uniques d'une colonne
- Copiez une colonne d'un CSV ou d'un tableur, dédoublonnez-la, et la sortie est l'ensemble des valeurs distinctes — avec un décompte du nombre de doublons présents, qui sert aussi de rapide vérification de cardinalité. Cela vous permet aussi de trouver les lignes en double et de retirer les lignes répétées d'une colonne collée sans formule de tableur.
- Fusionner des listes sans répétitions
- Collez deux listes ou plus bout à bout et dédoublonnez pour obtenir leur union : chaque ligne distincte, sans répétitions, dans l'ordre de première apparition. Plus rapide qu'une formule de tableur pour une fusion ponctuelle de tags, d'ID ou de noms.
- Dédoublonner les wordlists de sécurité
- Combinez et nettoyez des wordlists de mots de passe, des listes de sous-domaines ou des dictionnaires de fuzzing entièrement hors ligne. Comme chaque opération est locale, les données de sécurité confidentielles restent sur votre machine et ne sont jamais envoyées à un service externe.
- Ranger les listes d'import ou de dépendances
- Supprimez les instructions d'import, les noms de paquets ou les entrées de dépendances en double qui se sont glissés lors de copier-coller. Ajoutez un ordre de tri pour produire une liste canonique et unique qui garde les diffs futurs petits.
- Préparer les données pour l'analyse
- Retirez les répétitions avant de compter, de représenter graphiquement ou de charger des données pour que les doublons ne faussent pas vos résultats. Associez au Compteur de mots pour mesurer la liste nettoyée, ou à Text Diff pour la comparer à une autre version.
- Dédoublonner les listes de mots-clés pour le SEO
- Les exports de recherche de mots-clés regorgent de quasi-doublons. Supprimez ici les répétitions exactes, éventuellement en minuscules et rognées, pour obtenir un ensemble de mots-clés unique et propre avant de le regrouper ou de le mapper à des pages.
Comment fonctionne le dédoublonnage
- Dédoublonnage par ensemble de hachage
- Les lignes sont dédoublonnées avec un ensemble de hachage (un `Set` ou un `Map` JavaScript) indexé sur la forme de comparaison de chaque ligne, donnant des performances en temps linéaire même pour de grandes listes. La clé de chaque ligne est calculée une fois et recherchée en temps constant.
- Normalisation de la clé de comparaison
- La clé utilisée pour la correspondance est dérivée de la ligne : rognée d'abord si Ignorer les espaces de début/fin est activé, puis mise en minuscules si Sensible à la casse est désactivé. La ligne d'origine — pas la clé normalisée — est ce qui apparaît dans la sortie, donc la casse et les espaces des survivantes sont préservés.
- Conserver-première contre conserver-dernière
- Conserver-première pousse une ligne vers le résultat la première fois que sa clé est vue et ignore les répétitions ultérieures. Conserver-dernière calcule l'index final de chaque clé et ne garde que la ligne à cet index, donc la copie survivante se place à sa dernière position tandis que l'ordre global suit toujours l'entrée.
- Découpage des lignes (CRLF / LF / CR)
- Les lignes sont séparées sur n'importe quelle convention de saut de ligne — `\r\n` (Windows), `\n` (Unix) ou `\r` (Mac classique) — donc une entrée mixte ou collée fonctionne directement. Un saut de ligne final est retiré avant traitement pour qu'un fichier se terminant par un retour à la ligne n'enregistre pas de doublon vide fantôme en bas.
- Ordre de pipeline déterministe
- Le pipeline s'exécute dans une séquence fixe — rognage des espaces, puis suppression des lignes vides, puis dédoublonnage, puis tout tri ou mélange, puis inversion, puis numérotation des lignes. Comme les doublons sont fusionnés avant l'étape de tri optionnelle, activer un ordre de tri réordonne l'ensemble unique sans jamais supprimer une ligne distincte.
- Décomptes séparés de doublons et de vides
- Le badge de statistiques suit les doublons supprimés et les lignes vides supprimées indépendamment, calculés comme la différence de décompte de lignes avant et après chaque étape. Cela vous laisse voir, par exemple, `1 doublons supprimés · 2 vides supprimés` plutôt qu'un unique nombre combiné.
- Dans le navigateur, sans workers
- Tout le dédoublonnage s'exécute sur le thread principal de votre navigateur sans aller-retour serveur. Les listes typiques se terminent instantanément ; comme l'algorithme est linéaire et basé sur un ensemble, les performances passent à l'échelle avec grâce pour de très grandes entrées sans geler la page.
Bonnes pratiques de dédoublonnage
- Rognez les espaces pour attraper les doublons cachés
- La raison la plus courante pour laquelle des doublons survivent est un espace de fin invisible. Quand vous dédoublonnez des données collées depuis des tableurs, des PDF ou des terminaux, activez Ignorer les espaces de début/fin pour comparer les lignes sur leur forme rognée. Si le décompte de doublons supprimés est plus bas que prévu, c'est généralement à cause des espaces.
- Décidez de la sensibilité à la casse délibérément
- Pour les e-mails, les tags et les listes lisibles par l'humain, gardez Sensible à la casse désactivé pour que `Foo` et `foo` fusionnent. Ne l'activez que pour des données où la casse est significative, comme des identifiants ou des hachages où `A1B2` et `a1b2` sont réellement des valeurs différentes. Un mauvais choix change silencieusement quelles lignes survivent.
- Utilisez conserver-dernière pour la sémantique de surcharge
- Quand des entrées ultérieures doivent l'emporter — surcharges de configuration, variables d'environnement, un journal où le statut le plus récent compte — passez Conserver l'occurrence à Dernière. Pour un nettoyage général de liste où l'ordre doit être préservé depuis le haut, gardez le réglage par défaut Première.
- Dédoublonnez avant de compter ou d'analyser
- Les répétitions faussent les décomptes, les graphiques et les agrégats. Supprimez les doublons d'abord, puis mesurez. Le badge de statistiques sert aussi de rapide vérification de cardinalité : la différence entre les lignes en entrée et en sortie vous dit combien de répétitions les données portaient.
- Triez après le dédoublonnage pour une liste canonique
- Si vous avez besoin d'une liste stable et comparable — pour un fichier de config, un manifeste ou un diff — activez un ordre de tri en plus du dédoublonnage. Une liste unique et triée produit des diffs minimaux et est facile à comparer à une autre version avec Text Diff.
- Vérifiez avec le décompte en direct avant de copier
- Jetez un œil au badge de statistiques avant de copier. `12 lignes → 9 lignes · 3 doublons supprimés` confirme que l'outil a fait ce que vous vouliez. Si les nombres semblent étranges — zéro supprimé alors que vous attendiez des répétitions — revoyez les réglages de casse et d'espaces.
Questions fréquentes
Que fait cet outil ?
Conserve-t-il la première ou la dernière occurrence d'un doublon ?
Mon texte est-il téléversé quelque part ?
Comment supprimer les doublons tout en ignorant la casse ?
Pourquoi mes lignes visuellement identiques ne sont-elles pas dédoublonnées ?
Supprimer les doublons change-t-il l'ordre de mes lignes ?
Puis-je supprimer les doublons et trier en même temps ?
Qu'arrive-t-il aux lignes vides ?
Y a-t-il une limite à la taille de la liste ?
Comment cela se compare-t-il à la ligne de commande (sort -u, awk, uniq) ?
En quoi est-ce plus rapide que de supprimer les lignes en double dans Excel ou Notepad++ ?
Puis-je m'en servir pour trouver les valeurs uniques d'une colonne ?
Outils connexes
Voir tous les outils →Convertisseur de casse — UPPERCASE, lowercase, camelCase
Traitement de texte
Convertissez instantanément du texte entre UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE et 6 autres formats. Gratuit, navigateur, sans inscription.
Générateur de Lorem Ipsum gratuit
Traitement de texte
Générez du faux texte Lorem Ipsum instantanément — par paragraphe, phrase, mot, octet ou liste. Copiez ou téléchargez en texte brut, HTML, Markdown ou JSON. 100 % gratuit, privé, dans le navigateur. Sans inscription.
Testeur Regex gratuit — Déboguez vos motifs en ligne
Traitement de texte
Testez vos expressions régulières en ligne, gratuit. Correspondances en direct, groupes de capture, aperçu de remplacement, découpe et explication du motif. Regex JavaScript, 100 % confidentialité — sans inscription.
Générateur de slug URL — Sluggifiez tout texte
Traitement de texte
Transformez n'importe quel titre en slug d'URL propre et optimisé SEO instantanément. Translittérez accents et cyrillique, ou conservez les lettres Unicode. 100 % privé, dans votre navigateur.
Trier des lignes alphabétiquement et naturellement
Traitement de texte
Triez des lignes de texte par ordre alphabétique, numérique (ordre naturel) ou par longueur, croissant ou décroissant. Trieur de lignes en ligne, 100 % dans le navigateur. Dédoublonnez, inversez, nettoyez. Sans inscription.
Comparer deux textes — Diff
Traitement de texte
Comparez deux textes instantanément dans votre navigateur. Vue côte à côte, surlignage mot à mot, export en diff unifié, options pour ignorer casse/espaces/lignes vides. 100 % navigateur — aucun upload.