Eliminar líneas duplicadas de un texto
Elimina líneas duplicadas de un texto online — gratis, instantáneo, 100% en el navegador. Ignora mayúsculas o espacios, conserva la primera o la última ocurrencia y ve cuántos duplicados se quitaron. Sin registro.
¿Qué significa eliminar líneas duplicadas?
Eliminar líneas duplicadas — deduplicación, o «dedup» — significa recorrer un bloque de texto separado por saltos de línea y conservar solo una copia de cada línea distinta. Es una de las tareas de limpieza más comunes con las que se topa cualquiera que trabaje con datos: reducir una lista de correo que acumuló repeticiones, condensar un registro a sus mensajes únicos, encontrar los valores distintos en una columna de hoja de cálculo, o fusionar varias listas en un conjunto limpio.
La pregunta interesante es qué cuenta como duplicado. La comparación byte a byte es la respuesta estricta, pero los datos reales son más desordenados. Dos líneas pueden verse idénticas y aun así diferir por un espacio final, o variar solo en la capitalización — `Error` frente a `error`. Esta herramienta te deja decidir: por defecto ignora las mayúsculas, y puedes activar la comparación sin distinguir espacios para que las líneas se emparejen por su forma recortada y en minúsculas. De ese modo deduplicas por el significado de una línea en lugar de por su codificación exacta, que es casi siempre lo que realmente quieres.
La otra decisión es qué copia conservar. Conservar la primera ocurrencia preserva el orden original y es el valor por defecto; conservar la última es útil cuando las entradas posteriores sustituyen a las anteriores. En cualquier caso, el resultado es determinista y la insignia de estadísticas en vivo te dice exactamente cuántos duplicados se eliminaron, así que nunca tienes que confiar en la herramienta a ciegas.
La deduplicación se combina de forma natural con la ordenación y otras limpiezas. Esta herramienta las reúne en un solo panel: eliminar duplicados, luego opcionalmente ordenar, recortar espacios, descartar líneas en blanco, invertir o añadir números de línea. Cuando la ordenación es el evento principal, usa la herramienta complementaria Ordenar líneas de texto, que comparte el mismo motor. Para contar las líneas y palabras de tu texto, usa el Contador de palabras; para ver qué cambió entre dos versiones de una lista, usa el Comparador de texto; y para normalizar la capitalización antes de deduplicar, usa el Convertidor de mayúsculas.
Todo corre enteramente en tu navegador sin subidas, así que deduplicar una lista confidencial es exactamente tan privado como editarla localmente. Pega, y el resultado único está listo para copiar en un segundo.
Input: alice@example.com bob@example.com alice@example.com ALICE@example.com Exact dedupe (case-sensitive): alice@example.com bob@example.com ALICE@example.com Case-insensitive dedupe (default): alice@example.com bob@example.com ← ALICE collapsed into alice
Características clave
Deduplicación que preserva el orden
Conserva cada línea única una vez en su orden original por defecto — el mismo comportamiento que `awk '!seen[$0]++'` pero sin terminal. Tu lista permanece en la secuencia en que la pegaste, solo que sin las repeticiones.
Conservar la primera o la última ocurrencia
Elige si sobrevive la primera o la última aparición de cada línea. Conservar-primera preserva el orden para limpieza general; conservar-última es ideal cuando las entradas posteriores anulan a las anteriores, como valores de configuración o de entorno.
Coincidencia sin distinguir mayúsculas
Por defecto, `Error`, `error` y `ERROR` se fusionan en una sola línea — la elección natural para la mayoría de las listas. Activa Sensible a mayúsculas cuando la capitalización sea significativa y los duplicados deban coincidir exactamente.
Coincidencia sin distinguir espacios
Ignorar espacios al inicio/fin atrapa los duplicados invisibles que solo difieren por un espacio final o un tabulador — la razón número uno por la que líneas «idénticas» no se deduplican en datos pegados de hojas de cálculo y PDF.
Recuento de duplicados en vivo
Una insignia de estadísticas muestra `12 líneas → 9 líneas · 3 duplicados eliminados` mientras escribes. Siempre sabes exactamente cuántas repeticiones se fusionaron — sin adivinar si la herramienta realmente hizo algo.
Deduplicar + ordenar en una pasada
Activa un orden de ordenación para obtener una lista única, en orden alfabético (o natural, o por longitud) en un solo paso. La deduplicación corre primero, luego la ordenación, así que nada se pierde y la salida es a la vez limpia y ordenada.
Interruptores de limpieza
El mismo panel también recorta espacios, descarta líneas en blanco, invierte el orden y numera los resultados. Apila cualquiera de ellos sobre la deduplicación y una lista pegada caótica se convierte en una salida limpia, única y lista para pegar, en un solo lugar — sin necesidad de scripts.
Privacidad 100% en el navegador
Tu texto nunca sale de la página — sin subidas, sin registro, sin analítica. Seguro para listas de correo, registros de acceso y datos confidenciales. Verifícalo tú mismo en la pestaña de Red: deduplicar produce cero peticiones.
Ejemplos de eliminación de líneas duplicadas
Eliminar duplicados exactos
apple banana apple cherry banana
apple banana cherry
El comportamiento por defecto: cada línea se conserva una vez, en su primera aparición, y las repeticiones exactas posteriores se descartan. El orden original se preserva. La insignia de estadísticas informa `5 líneas → 3 líneas · 2 duplicados eliminados`.
Ignorar mayúsculas
Error error ERROR Warning
Error Warning
Con Sensible a mayúsculas desactivado (por defecto), `Error`, `error` y `ERROR` se tratan como la misma línea, así que solo se conserva la primera. Activa Sensible a mayúsculas para mantener las tres como entradas distintas.
Ignorar espacios al inicio/fin
apple apple banana banana
apple banana
Activa Ignorar espacios al inicio/fin para que `apple` y ` apple ` se comparen como iguales. Esto atrapa los duplicados invisibles que plagan los datos copiados de hojas de cálculo, PDF y terminales donde se cuela un espacio final.
Conservar la última ocurrencia
v1 v2 v1 v3
v2 v1 v3
Cambia Conservar ocurrencia a Última y la aparición final de cada línea sobrevive, en su última posición. Aquí se conserva el segundo `v1` y se elimina el primero. Útil cuando las entradas posteriores anulan a las anteriores, como variables de entorno o anulaciones de configuración.
Deduplicar y ordenar juntos
dog cat dog bird cat
bird cat dog
Activa el orden Ascendente para obtener una lista limpia, única y en orden alfabético en un solo paso. La deduplicación corre primero, luego la ordenación, así que la salida es a la vez única y ordenada — ideal para convertir una columna pegada desordenada en un conjunto pulcro.
Eliminar líneas vacías y duplicados
alpha beta alpha gamma
alpha beta gamma
Activa Eliminar líneas vacías junto con la deduplicación para descartar líneas en blanco y repeticiones a la vez. La insignia de estadísticas separa ambas: `6 líneas → 3 líneas · 1 duplicados eliminados · 2 vacías eliminadas`.
Contar cuántos duplicados existen
a b a a c b
a b c
Aunque solo te importe el recuento, la deduplicación te da la respuesta: la insignia de estadísticas muestra `6 líneas → 3 líneas · 3 duplicados eliminados`. Una forma rápida de saber cuánta repetición se esconde en una lista sin contarla a mano.
Fusionar dos listas en entradas únicas
red green blue green yellow red
red green blue yellow
Pega dos listas una tras otra y deduplica para obtener la unión — cada línea distinta, sin repeticiones, con el orden de primera aparición preservado. La forma más rápida de combinar listas de correo, conjuntos de etiquetas o listas de ID sin una fórmula de hoja de cálculo.
Cómo eliminar líneas duplicadas
- 1
Pega o escribe tus líneas
Suelta tu texto en el cuadro de entrada. Cada salto de línea es una línea separada. Los duplicados se eliminan al instante mientras escribes — no hay botón de envío. Un salto de línea final se ignora, así que no contará como una línea en blanco extra.
- 2
Elige qué cuenta como duplicado
Deja Sensible a mayúsculas desactivado para tratar `Foo` y `foo` como iguales, o actívalo para mantenerlos distintos. Activa Ignorar espacios al inicio/fin para atrapar líneas que solo difieren por espacios sueltos.
- 3
Elige qué ocurrencia conservar
Conservar ocurrencia está en Primera por defecto, preservando el orden original. Cambia a Última cuando la aparición final de cada línea deba ganar — útil para anulaciones donde las entradas posteriores sustituyen a las anteriores.
- 4
Añade ordenación o limpieza si hace falta
Activa un orden de ordenación para poner el resultado único en orden alfabético, o activa Eliminar líneas vacías y Recortar cada línea para arreglar la lista en la misma pasada. La insignia de estadísticas muestra el efecto de cada interruptor.
- 5
Copia el resultado único
Haz clic en Copiar para poner la salida deduplicada en tu portapapeles. Usa Reiniciar para limpiar ambos cuadros, o Ejemplo para cargar una lista de ejemplo. Nada se sube en ningún momento del proceso.
Errores comunes de deduplicación
Espacios en blanco que ocultan duplicados
Las líneas que se ven idénticas pero difieren por un espacio final o un tabulador no son duplicados exactos, así que sobreviven. Activa Ignorar espacios al inicio/fin para comparar por la forma recortada. Esta es la sorpresa de deduplicación más común, especialmente con datos de hoja de cálculo y PDF.
Coincidencia exacta ("apple " ≠ "apple"):
apple
apple ← espacio final, conservada como única
banana Ignorar espacios: apple banana
Diferencia de mayúsculas tratada como única
Con Sensible a mayúsculas activado, `Error` y `error` son líneas diferentes y ambas sobreviven. Si querías que fueran la misma, desactiva Sensible a mayúsculas (por defecto). A la inversa, desactivarlo cuando las mayúsculas son significativas puede fusionar líneas que querías mantener separadas.
Sensible a mayúsculas activado: Error error ERROR ← las tres conservadas
Sin distinguir mayúsculas (por defecto): Error ← las demás se fusionan
Esperar que los duplicados no adyacentes permanezcan
A diferencia del `uniq` de línea de comandos, esta herramienta elimina los duplicados en cualquier parte de la lista, no solo los adyacentes — así que no necesitas ordenar primero. Si en realidad querías fusionar solo las repeticiones consecutivas, esta herramienta no encaja; ordena o reestructura tus datos en su lugar.
Asumiendo el comportamiento de uniq (solo adyacentes): a b a ← se esperaba que sobreviviera, pero se elimina
Deduplicación completa (esta herramienta): a b ← la 'a' posterior se elimina donde sea que aparezca
Confundir la eliminación de líneas vacías con la deduplicación
La deduplicación fusiona las líneas en blanco repetidas pero conserva una; no elimina todas las líneas en blanco. Para descartar cada línea vacía, activa Eliminar líneas vacías. La insignia de estadísticas informa los dos recuentos por separado para que puedas saber si se eliminaron las vacías o los duplicados reales.
Solo deduplicación (una en blanco conservada): alpha (en blanco) beta
Deduplicación + Eliminar líneas vacías: alpha beta
Eliminar líneas duplicadas: casos de uso
- Limpiar listas de correo y contactos
- Pega una lista de correo exportada que acumuló repeticiones y recupera un conjunto único. Activa la coincidencia sin distinguir mayúsculas ni espacios para que `Bob@x.com`, `bob@x.com` y `bob@x.com ` se fusionen todos en una sola dirección.
- Reducir registros a mensajes únicos
- Deduplica un registro ruidoso para ver las líneas distintas de error o evento sin la repetición. Conservar-última es práctico cuando la ocurrencia más reciente de cada mensaje importa más que la primera.
- Encontrar valores únicos en una columna
- Copia una columna de un CSV o una hoja de cálculo, deduplícala, y la salida es el conjunto de valores distintos — con un recuento de cuántos duplicados existían, que sirve además como una comprobación rápida de cardinalidad. También te permite encontrar líneas duplicadas y quitar filas repetidas de una columna pegada sin una fórmula de hoja de cálculo.
- Fusionar listas sin repeticiones
- Pega dos o más listas una tras otra y deduplica para obtener su unión: cada línea distinta, sin repeticiones, en orden de primera aparición. Más rápido que una fórmula de hoja de cálculo para una fusión puntual de etiquetas, ID o nombres.
- Deduplicar wordlists de seguridad
- Combina y limpia wordlists de contraseñas, listas de subdominios o diccionarios de fuzzing enteramente sin conexión. Como cada operación es local, los datos de seguridad confidenciales permanecen en tu máquina y nunca se envían a un servicio externo.
- Arreglar listas de import o dependencias
- Elimina sentencias de import, nombres de paquetes o entradas de dependencias duplicadas que se colaron durante copiar y pegar. Añade un orden de ordenación para producir una lista canónica y única que mantenga pequeños los diffs futuros.
- Preparar datos para el análisis
- Quita las repeticiones antes de contar, graficar o cargar datos para que los duplicados no sesguen tus resultados. Combina con el Contador de palabras para medir la lista limpia, o con el Comparador de texto para compararla con otra versión.
- Deduplicar listas de palabras clave para SEO
- Las exportaciones de investigación de palabras clave están llenas de casi-duplicados. Elimina aquí las repeticiones exactas, opcionalmente en minúsculas y recortadas, para obtener un conjunto de palabras clave único y limpio antes de agruparlo o mapearlo a páginas.
Cómo funciona la deduplicación
- Deduplicación con conjunto hash
- Las líneas se deduplican con un conjunto hash (un `Set` o `Map` de JavaScript) indexado por la forma de comparación de cada línea, dando rendimiento en tiempo lineal incluso para listas grandes. La clave de cada línea se calcula una vez y se busca en tiempo constante.
- Normalización de la clave de comparación
- La clave usada para la coincidencia se deriva de la línea: recortada primero si Ignorar espacios al inicio/fin está activado, luego en minúsculas si Sensible a mayúsculas está desactivado. La línea original — no la clave normalizada — es lo que aparece en la salida, así que la capitalización y el espaciado de las supervivientes se preservan.
- Conservar-primera frente a conservar-última
- Conservar-primera empuja una línea al resultado la primera vez que se ve su clave y omite las repeticiones posteriores. Conservar-última calcula el índice final de cada clave y solo mantiene la línea en ese índice, así que la copia superviviente queda en su última posición mientras el orden global sigue la entrada.
- División de líneas (CRLF / LF / CR)
- Las líneas se separan con cualquier convención de salto de línea — `\r\n` (Windows), `\n` (Unix) o `\r` (Mac clásico) — así que la entrada mixta o pegada simplemente funciona. Un salto de línea final se descarta antes del procesamiento para que un archivo que termina en un salto de línea no registre un duplicado vacío fantasma al final.
- Orden de pipeline determinista
- El pipeline corre en una secuencia fija — recorte de espacios, luego eliminación de líneas vacías, luego deduplicación, luego cualquier ordenación o mezcla, luego inversión, luego numeración de líneas. Como los duplicados se fusionan antes del paso de ordenación opcional, activar un orden de ordenación reordena el conjunto único sin descartar nunca una línea distinta.
- Recuentos separados de duplicados y vacías
- La insignia de estadísticas rastrea los duplicados eliminados y las líneas vacías eliminadas de forma independiente, calculados como la diferencia de recuento de líneas antes y después de cada etapa. Esto te deja ver, por ejemplo, `1 duplicados eliminados · 2 vacías eliminadas` en lugar de un único número combinado.
- En el navegador, sin workers
- Toda la deduplicación corre en el hilo principal de tu navegador sin idas y vueltas al servidor. Las listas típicas se completan al instante; como el algoritmo es lineal y basado en conjuntos, el rendimiento escala con gracia a entradas muy grandes sin congelar la página.
Buenas prácticas de deduplicación
- Recorta espacios para atrapar duplicados ocultos
- La razón más común por la que sobreviven los duplicados es un espacio final invisible. Cuando deduplicas datos pegados de hojas de cálculo, PDF o terminales, activa Ignorar espacios al inicio/fin para que las líneas se comparen por su forma recortada. Si el recuento de duplicados eliminados es más bajo de lo que esperas, el espacio en blanco suele ser la causa.
- Decide la sensibilidad a mayúsculas deliberadamente
- Para correos, etiquetas y listas legibles por humanos, deja Sensible a mayúsculas desactivado para que `Foo` y `foo` se fusionen. Actívalo solo para datos donde la capitalización sea significativa, como identificadores o hashes donde `A1B2` y `a1b2` son genuinamente valores diferentes. Elegir mal cambia silenciosamente qué líneas sobreviven.
- Usa conservar-última para semántica de anulación
- Cuando las entradas posteriores deban ganar — anulaciones de configuración, variables de entorno, un registro donde importa el estado más reciente — cambia Conservar ocurrencia a Última. Para limpieza general de listas donde el orden debe preservarse desde arriba, mantén el valor por defecto Primera.
- Deduplica antes de contar o analizar
- Las repeticiones sesgan recuentos, gráficos y agregados. Elimina los duplicados primero, luego mide. La insignia de estadísticas sirve además como una comprobación rápida de cardinalidad: la diferencia entre líneas de entrada y de salida te dice cuánta repetición cargaban los datos.
- Ordena tras deduplicar para una lista canónica
- Si necesitas una lista estable y comparable — para un archivo de configuración, un manifiesto o un diff — activa un orden de ordenación junto con la deduplicación. Una lista única y ordenada produce diffs mínimos y es fácil de comparar con otra versión usando el Comparador de texto.
- Verifica con el recuento en vivo antes de copiar
- Echa un vistazo a la insignia de estadísticas antes de copiar. `12 líneas → 9 líneas · 3 duplicados eliminados` confirma que la herramienta hizo lo que pretendías. Si los números se ven raros — cero eliminados cuando esperabas repeticiones — revisa los ajustes de mayúsculas y espacios.
Preguntas frecuentes
¿Qué hace esta herramienta?
¿Conserva la primera o la última ocurrencia de un duplicado?
¿Mi texto se sube a algún sitio?
¿Cómo elimino duplicados pero ignoro las mayúsculas?
¿Por qué mis líneas visualmente idénticas no se están deduplicando?
¿Eliminar duplicados cambia el orden de mis líneas?
¿Puedo eliminar duplicados y ordenar a la vez?
¿Qué pasa con las líneas en blanco?
¿Hay un límite en el tamaño de la lista?
¿Cómo se compara esto con la línea de comandos (sort -u, awk, uniq)?
¿Cómo es esto más rápido que eliminar líneas duplicadas en Excel o Notepad++?
¿Puedo usar esto para encontrar valores únicos en una columna?
Herramientas relacionadas
Ver todas las herramientas →Convertidor de Mayúsculas, Minúsculas, camelCase y Más
Procesamiento de Texto
Convierte texto entre UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE y 6 formatos más al instante. Gratis, en el navegador, sin registro.
Generador de Lorem Ipsum — Texto de Relleno
Procesamiento de Texto
Genera texto de relleno Lorem Ipsum al instante: por párrafo, frase, palabra, byte o lista. Copia o descarga como texto plano, HTML, Markdown o JSON. 100 % gratis, privado, en el navegador. Sin registro.
Probador de Regex Gratis — Depura Patrones en Línea
Procesamiento de Texto
Prueba patrones de expresiones regulares al instante contra cualquier texto. Resaltado de coincidencias en vivo, grupos de captura, vista previa de reemplazo, división y explicador. Regex JavaScript, 100% privado, sin registro.
Generador de Slugs de URL — Convierte tu Texto
Procesamiento de Texto
Convierte cualquier título en un slug de URL limpio y optimizado para SEO al instante. Translitera acentos y cirílico, o conserva letras Unicode. 100% privado, en tu navegador.
Ordenar líneas de texto alfabética y naturalmente
Procesamiento de Texto
Ordena líneas de texto alfabética, numérica (orden natural) o por longitud, ascendente o descendente. Todo online, 100% en el navegador. Elimina duplicados, invierte y limpia tus listas. Sin registro.
Comparar dos textos — Diff
Procesamiento de Texto
Compara dos textos al instante en tu navegador. Vista lado a lado, resaltado palabra por palabra, exportación a diff unificado, opciones para ignorar mayúsculas/espacios/líneas vacías. 100 % navegador — sin uploads.