Remover linhas duplicadas de texto
Remova linhas duplicadas de texto online — grátis, instantâneo, 100% no navegador. Ignore maiúsculas ou espaços, mantenha a primeira ou última ocorrência e veja quantas duplicatas foram removidas. Sem cadastro.
O que significa remover linhas duplicadas?
Remover linhas duplicadas — deduplicação, ou "dedupe" — significa varrer um bloco de texto separado por quebras de linha e manter apenas uma cópia de cada linha distinta. É uma das tarefas de limpeza mais comuns com que qualquer pessoa que trabalha com dados se depara: colapsar uma lista de correspondência que acumulou repetições, reduzir um log a suas mensagens únicas, encontrar os valores distintos em uma coluna de planilha ou mesclar várias listas em um conjunto limpo.
A questão interessante é o que conta como duplicata. Comparação byte a byte é a resposta estrita, mas dados reais são mais bagunçados. Duas linhas podem parecer idênticas e ainda diferir por um espaço no fim, ou variar apenas na capitalização — `Error` versus `error`. Esta ferramenta deixa você decidir: por padrão ela ignora maiúsculas/minúsculas, e você pode ativar a comparação sem diferenciar espaço em branco para que as linhas sejam correspondidas em sua forma aparada e em minúsculas. Dessa forma você deduplica pelo significado de uma linha em vez de sua codificação exata, que é quase sempre o que você realmente quer.
A outra decisão é qual cópia manter. Manter a primeira ocorrência preserva a ordem original e é o padrão; manter a última é útil quando entradas posteriores substituem anteriores. De qualquer forma, o resultado é determinístico e o selo de estatísticas ao vivo diz exatamente quantas duplicatas foram removidas, então você nunca precisa confiar na ferramenta cegamente.
A deduplicação combina naturalmente com a ordenação e outra limpeza. Esta ferramenta as reúne em um painel: remover duplicatas, depois opcionalmente ordenar, aparar espaço em branco, descartar linhas em branco, inverter ou adicionar números de linha. Quando ordenar é o evento principal, use a ferramenta companheira Ordenar Linhas de Texto, que compartilha o mesmo motor. Para contar as linhas e palavras no seu texto, use o Contador de Palavras; para ver o que mudou entre duas versões de uma lista, use o Text Diff; e para normalizar a capitalização antes de deduplicar, use o Conversor de Maiúsculas.
Tudo roda inteiramente no seu navegador sem uploads, então deduplicar uma lista confidencial é exatamente tão privado quanto editá-la localmente. Cole, e o resultado único está pronto para copiar em um segundo.
Input: alice@example.com bob@example.com alice@example.com ALICE@example.com Exact dedupe (case-sensitive): alice@example.com bob@example.com ALICE@example.com Case-insensitive dedupe (default): alice@example.com bob@example.com ← ALICE collapsed into alice
Principais recursos
Deduplicação com preservação de ordem
Mantém cada linha única uma vez em sua ordem original por padrão — o mesmo comportamento de `awk '!seen[$0]++'` mas sem um terminal. Sua lista permanece na sequência em que você a colou, só que sem as repetições.
Manter primeira ou última ocorrência
Escolha se o primeiro ou o último aparecimento de cada linha sobrevive. Manter-primeira preserva a ordem para limpeza geral; manter-última é ideal quando entradas posteriores sobrescrevem anteriores, como valores de config ou de ambiente.
Correspondência sem diferenciar maiúsculas
Por padrão `Error`, `error` e `ERROR` colapsam em uma linha — a escolha natural para a maioria das listas. Ative Diferenciar maiúsculas/minúsculas quando a capitalização é significativa e as duplicatas devem corresponder exatamente.
Correspondência sem diferenciar espaço em branco
Ignorar espaços no início/fim captura as duplicatas invisíveis que diferem apenas por um espaço no fim ou tab — a razão número um pela qual linhas "idênticas" falham em deduplicar em dados colados de planilhas e PDFs.
Contagem de duplicatas ao vivo
Um selo de estatísticas mostra `12 linhas → 9 linhas · 3 duplicatas removidas` enquanto você digita. Você sempre sabe exatamente quantas repetições foram colapsadas — sem adivinhar se a ferramenta realmente fez algo.
Dedupe + Ordenar em uma passagem
Ative uma ordem de ordenação para obter uma lista única, alfabetizada (ou natural, ou ordenada por comprimento) em um único passo. A deduplicação roda primeiro, depois a ordenação, então nada se perde e a saída é tanto limpa quanto ordenada.
Alternadores de limpeza
O mesmo painel também apara espaço em branco, descarta linhas em branco, inverte a ordem e numera os resultados. Empilhe qualquer um deles sobre a deduplicação e uma lista colada caótica se torna uma saída limpa, única e pronta para colar em um só lugar — sem scripting.
Privacidade 100% no navegador
Seu texto nunca sai da página — sem uploads, sem registro, sem analytics. Seguro para listas de e-mail, logs de acesso e dados confidenciais. Verifique você mesmo na aba Network: deduplicar produz zero requisições.
Exemplos de remoção de linhas duplicadas
Remover duplicatas exatas
apple banana apple cherry banana
apple banana cherry
O comportamento padrão: cada linha é mantida uma vez, em seu primeiro aparecimento, e repetições exatas posteriores são descartadas. A ordem original é preservada. O selo de estatísticas relata `5 linhas → 3 linhas · 2 duplicatas removidas`.
Ignorar maiúsculas/minúsculas
Error error ERROR Warning
Error Warning
Com Diferenciar maiúsculas/minúsculas desligado (o padrão), `Error`, `error` e `ERROR` são tratados como a mesma linha, então apenas a primeira é mantida. Ligue Diferenciar maiúsculas/minúsculas para manter as três como entradas distintas.
Ignorar espaços no início/fim
apple apple banana banana
apple banana
Ative Ignorar espaços no início/fim para que `apple` e ` apple ` comparem como iguais. Isso captura as duplicatas invisíveis que assolam dados copiados de planilhas, PDFs e terminais, onde o espaço em branco no fim se infiltra.
Manter a última ocorrência
v1 v2 v1 v3
v2 v1 v3
Mude Manter ocorrência para Última e o último aparecimento de cada linha sobrevive, em sua última posição. Aqui o segundo `v1` é mantido e o primeiro é removido. Útil quando entradas posteriores sobrescrevem as anteriores, como variáveis de ambiente ou overrides de config.
Deduplicar e ordenar juntos
dog cat dog bird cat
bird cat dog
Ative a ordenação Crescente para obter uma lista limpa, única e alfabetizada em um único passo. A deduplicação roda primeiro, depois a ordenação, então a saída é tanto única quanto ordenada — ideal para transformar uma coluna colada bagunçada em um conjunto organizado.
Remover linhas vazias e duplicatas
alpha beta alpha gamma
alpha beta gamma
Ative Remover linhas vazias junto com a deduplicação para descartar linhas em branco e repetições de uma vez. O selo de estatísticas separa as duas: `6 linhas → 3 linhas · 1 duplicatas removidas · 2 vazias removidas`.
Contar quantas duplicatas existem
a b a a c b
a b c
Mesmo que você só se importe com a contagem, a deduplicação dá a resposta: o selo de estatísticas mostra `6 linhas → 3 linhas · 3 duplicatas removidas`. Uma forma rápida de saber quanta repetição está escondida em uma lista sem contar manualmente.
Mesclar duas listas em entradas únicas
red green blue green yellow red
red green blue yellow
Cole duas listas uma após a outra e deduplique para obter a união — cada linha distinta, sem repetições, ordem de primeiro aparecimento preservada. A forma mais rápida de combinar listas de correspondência, conjuntos de tags ou listas de IDs sem uma fórmula de planilha.
Como remover linhas duplicadas
- 1
Cole ou digite suas linhas
Solte seu texto na caixa de entrada. Cada quebra de linha é uma linha separada. As duplicatas são removidas instantaneamente enquanto você digita — não há botão de envio. Uma quebra de linha final é ignorada, então não conta como uma linha em branco extra.
- 2
Escolha o que conta como duplicata
Deixe Diferenciar maiúsculas/minúsculas desligado para tratar `Foo` e `foo` como o mesmo, ou ligue para mantê-los distintos. Ative Ignorar espaços no início/fim para capturar linhas que diferem apenas por espaço em branco perdido.
- 3
Escolha qual ocorrência manter
Manter ocorrência assume Primeira por padrão, preservando a ordem original. Mude para Última quando o último aparecimento de cada linha deve vencer — útil para overrides em que entradas posteriores substituem anteriores.
- 4
Adicione ordenação ou limpeza se necessário
Ative uma ordem de ordenação para alfabetizar o resultado único, ou ligue Remover linhas vazias e Aparar cada linha para organizar a lista na mesma passagem. O selo de estatísticas mostra o efeito de cada alternador.
- 5
Copie o resultado único
Clique em Copiar para colocar a saída deduplicada na sua área de transferência. Use Limpar para esvaziar ambas as caixas, ou Exemplo para carregar uma lista de exemplo. Nada é enviado em nenhum momento do processo.
Erros comuns de deduplicação
Espaço em branco escondendo duplicatas
Linhas que parecem idênticas mas diferem por um espaço no fim ou tab não são duplicatas exatas, então sobrevivem. Ative Ignorar espaços no início/fim para comparar na forma aparada. Esta é a surpresa de deduplicação mais comum, especialmente com dados de planilha e PDF.
Correspondência exata ("apple " ≠ "apple"):
apple
apple ← espaço no fim, mantida como única
banana Ignorar espaço em branco: apple banana
Diferença de maiúsculas tratada como única
Com Diferenciar maiúsculas/minúsculas ligado, `Error` e `error` são linhas diferentes e ambas sobrevivem. Se você queria que fossem a mesma, desligue Diferenciar maiúsculas/minúsculas (o padrão). Inversamente, desligá-lo quando a caixa é significativa pode mesclar linhas que você queria manter separadas.
Diferenciar maiúsculas ligado: Error error ERROR ← as três mantidas
Sem diferenciar (padrão): Error ← o restante colapsa
Esperar que duplicatas não-adjacentes permaneçam
Diferentemente do `uniq` de linha de comando, esta ferramenta remove duplicatas em qualquer lugar da lista, não apenas as adjacentes — então você não precisa ordenar primeiro. Se você realmente queria colapsar apenas repetições consecutivas, esta ferramenta não é a correspondência; ordene ou reestruture seus dados em vez disso.
Assumindo comportamento de uniq (só adjacente): a b a ← esperada sobreviver, mas é removida
Dedupe completo (esta ferramenta): a b ← o 'a' posterior é removido onde quer que apareça
Confundir remoção de linhas vazias com dedupe
A deduplicação colapsa linhas em branco repetidas mas mantém uma; ela não deleta todas as em branco. Para descartar toda linha vazia, ative Remover linhas vazias. O selo de estatísticas relata as duas contagens separadamente para que você possa dizer se em branco ou duplicatas verdadeiras foram removidas.
Só dedupe (uma em branco mantida): alpha (em branco) beta
Dedupe + Remover linhas vazias: alpha beta
Remover linhas duplicadas: casos de uso
- Limpar listas de e-mail e contatos
- Cole uma lista de correspondência exportada que acumulou repetições e obtenha um conjunto único de volta. Ative a correspondência sem diferenciar maiúsculas e espaço em branco para que `Bob@x.com`, `bob@x.com` e `bob@x.com ` colapsem todos em um endereço.
- Reduzir logs a mensagens únicas
- Deduplique um log ruidoso para ver as linhas distintas de erro ou evento sem a repetição. Manter-última é prático quando a ocorrência mais recente de cada mensagem importa mais que a primeira.
- Encontrar valores únicos em uma coluna
- Copie uma coluna de um CSV ou planilha, deduplique-a, e a saída é o conjunto de valores distintos — com uma contagem de quantas duplicatas existiam, que serve como uma verificação rápida de cardinalidade. Também permite encontrar linhas duplicadas e remover linhas repetidas de uma coluna colada sem uma fórmula de planilha.
- Mesclar listas sem repetições
- Cole duas ou mais listas uma após a outra e deduplique para obter sua união: cada linha distinta, sem repetições, em ordem de primeiro aparecimento. Mais rápido que uma fórmula de planilha para uma mesclagem pontual de tags, IDs ou nomes.
- Deduplicar wordlists de segurança
- Combine e limpe wordlists de senhas, listas de subdomínios ou dicionários de fuzzing inteiramente offline. Como toda operação é local, dados sensíveis de segurança permanecem na sua máquina e nunca são enviados a um serviço externo.
- Organizar listas de import ou dependências
- Remova declarações de import, nomes de pacote ou entradas de dependência duplicadas que se infiltraram durante copiar-colar. Adicione uma ordem de ordenação para produzir uma lista canônica e única que mantém diffs futuros pequenos.
- Preparar dados para análise
- Remova repetições antes de contar, gerar gráficos ou carregar dados para que duplicatas não distorçam seus resultados. Combine com o Contador de Palavras para medir a lista limpa, ou com o Text Diff para compará-la com outra versão.
- Deduplicar listas de palavras-chave para SEO
- Exportações de pesquisa de palavras-chave estão cheias de quase-duplicatas. Remova repetições exatas aqui, opcionalmente em minúsculas e aparadas, para obter um conjunto único e limpo de palavras-chave antes de agrupá-lo ou mapeá-lo a páginas.
Como a deduplicação funciona
- Deduplicação por conjunto de hash
- As linhas são deduplicadas com um conjunto de hash (um `Set` ou `Map` de JavaScript) chaveado na forma de comparação de cada linha, dando desempenho de tempo linear mesmo para listas grandes. A chave de cada linha é computada uma vez e procurada em tempo constante.
- Normalização da chave de comparação
- A chave usada para correspondência é derivada da linha: aparada primeiro se Ignorar espaços no início/fim estiver ligado, depois em minúsculas se Diferenciar maiúsculas/minúsculas estiver desligado. A linha original — não a chave normalizada — é o que aparece na saída, então a capitalização e o espaçamento das sobreviventes são preservados.
- Manter-primeira vs. manter-última
- Manter-primeira envia uma linha ao resultado na primeira vez que sua chave é vista e pula as repetições posteriores. Manter-última computa o índice final de cada chave e mantém apenas a linha nesse índice, então a cópia sobrevivente fica em sua última posição enquanto a ordem geral ainda segue a entrada.
- Divisão de linhas (CRLF / LF / CR)
- As linhas são separadas em qualquer convenção de quebra de linha — `\r\n` (Windows), `\n` (Unix) ou `\r` (Mac clássico) — então entrada mista ou colada simplesmente funciona. Uma quebra de linha final é descartada antes do processamento para que um arquivo que termina em uma quebra de linha não registre uma duplicata vazia fantasma no fim.
- Ordem determinística da pipeline
- A pipeline roda em uma sequência definida — aparar espaço em branco, depois remoção de linhas vazias, depois deduplicação, depois qualquer ordenação ou embaralhamento, depois inversão, depois numeração de linhas. Como as duplicatas são colapsadas antes do passo de ordenação opcional, ativar uma ordem de ordenação reordena o conjunto único sem nunca descartar uma linha distinta.
- Contagens separadas de duplicatas e vazias
- O selo de estatísticas rastreia duplicatas removidas e linhas vazias removidas independentemente, computadas como o delta de contagem de linhas antes e depois de cada estágio. Isso deixa você ver, por exemplo, `1 duplicatas removidas · 2 vazias removidas` em vez de um único número combinado.
- No navegador, sem workers necessários
- Toda a deduplicação roda na thread principal do seu navegador sem idas e voltas ao servidor. Listas típicas completam instantaneamente; como o algoritmo é linear e baseado em conjunto, o desempenho escala graciosamente para entradas muito grandes sem congelar a página.
Boas práticas de deduplicação
- Apare o espaço em branco para capturar duplicatas ocultas
- A razão mais comum pela qual duplicatas sobrevivem é espaço em branco invisível no fim. Ao deduplicar dados colados de planilhas, PDFs ou terminais, ative Ignorar espaços no início/fim para que as linhas sejam comparadas em sua forma aparada. Se a contagem de duplicatas removidas for menor do que você espera, o espaço em branco geralmente é o motivo.
- Decida sobre a diferenciação de maiúsculas deliberadamente
- Para e-mails, tags e listas legíveis por humanos, mantenha Diferenciar maiúsculas/minúsculas desligado para que `Foo` e `foo` colapsem. Só ative para dados em que a caixa é significativa, como identificadores ou hashes em que `A1B2` e `a1b2` são valores genuinamente diferentes. Escolher errado muda silenciosamente quais linhas sobrevivem.
- Use manter-última para semântica de override
- Quando entradas posteriores devem vencer — overrides de configuração, variáveis de ambiente, um log em que o status mais novo importa — mude Manter ocorrência para Última. Para limpeza geral de lista em que a ordem deve ser preservada a partir do topo, mantenha o padrão Primeira.
- Deduplique antes de contar ou analisar
- Repetições distorcem contagens, gráficos e agregados. Remova duplicatas primeiro, depois meça. O selo de estatísticas serve como uma verificação rápida de cardinalidade: a diferença entre linhas que entram e linhas que saem diz quanta repetição os dados carregavam.
- Ordene depois de deduplicar para uma lista canônica
- Se você precisa de uma lista estável e comparável — para um arquivo de config, um manifesto ou um diff — ative uma ordem de ordenação junto com a deduplicação. Uma lista única e ordenada produz diffs mínimos e é fácil de comparar com outra versão usando o Text Diff.
- Verifique com a contagem ao vivo antes de copiar
- Dê uma olhada no selo de estatísticas antes de copiar. `12 linhas → 9 linhas · 3 duplicatas removidas` confirma que a ferramenta fez o que você pretendia. Se os números parecerem errados — zero removidas quando você esperava repetições — revise as configurações de maiúsculas e espaço em branco.
Perguntas frequentes
O que esta ferramenta faz?
Ela mantém a primeira ou a última ocorrência de uma duplicata?
Meu texto é enviado para algum lugar?
Como removo duplicatas mas ignoro maiúsculas/minúsculas?
Por que minhas linhas visualmente idênticas não estão sendo deduplicadas?
Remover duplicatas muda a ordem das minhas linhas?
Posso remover duplicatas e ordenar ao mesmo tempo?
O que acontece com as linhas em branco?
Há um limite para o tamanho da lista?
Como isso se compara à linha de comando (sort -u, awk, uniq)?
Como isso é mais rápido que remover linhas duplicadas no Excel ou Notepad++?
Posso usar isto para encontrar valores únicos em uma coluna?
Ferramentas relacionadas
Ver todas as ferramentas →Conversor de Maiúsculas — UPPER, lower, camelCase
Processamento de Texto
Converta texto entre UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE e mais 6 formatos instantaneamente. Grátis, no navegador, sem cadastro.
Gerador de Lorem Ipsum — Texto de Preenchimento
Processamento de Texto
Gere texto de preenchimento Lorem Ipsum na hora — por parágrafo, frase, palavra, byte ou lista. Copie ou baixe como texto puro, HTML, Markdown ou JSON. 100% grátis e privado, no navegador. Sem cadastro.
Testador Regex Grátis — Depure e Combine Padrões Online
Processamento de Texto
Teste padrões de expressões regulares instantaneamente contra qualquer texto. Destaque ao vivo, grupos de captura, prévia de substituição, divisão e explicador. Regex JavaScript, 100% privado, sem cadastro, grátis e online.
Gerador de Slug de URL — Slugify de Texto
Processamento de Texto
Transforme qualquer título em um slug de URL limpo e otimizado para SEO instantaneamente. Translitera acentos e cirílico ou mantém letras Unicode. 100% privado, no navegador.
Ordenar linhas de texto: alfabética e natural
Processamento de Texto
Ordene linhas de texto por ordem alfabética, numérica (ordem natural) ou por comprimento — crescente ou decrescente. Grátis, 100% no navegador. Também remova duplicatas, inverta e limpe listas. Sem cadastro.
Comparar dois textos — Diff
Processamento de Texto
Compare dois textos na hora no seu navegador. Vista lado a lado, destaque palavra a palavra, exportação para diff unificado, opções para ignorar maiúsculas/espaços/linhas vazias. 100 % navegador — sem upload.