Skip to content

Hapus Baris Duplikat dari Teks

Hapus baris duplikat dari teks secara online — gratis, instan, 100% di peramban. Abaikan huruf besar/kecil atau spasi, simpan kemunculan pertama atau terakhir, dan lihat berapa duplikat dihapus. Juga urutkan. Tanpa daftar.

Tanpa Pelacakan Berjalan di Browser Gratis
Semua pemrosesan terjadi secara lokal di peramban Anda. Tidak ada data yang dikirim ke server mana pun.
Urutkan
Hapus Duplikat
Bersihkan
—
Ditinjau untuk dedupe yang menjaga urutan, kebenaran simpan-pertama/simpan-terakhir, pencocokan tak-peka-huruf dan tak-peka-spasi, urutan pipeline deterministik, dan statistik hitungan-duplikat yang akurat — Tim Engineering Go Tools · Jul 13, 2026

Apa Arti Menghapus Baris Duplikat?

Menghapus baris duplikat — deduplikasi, atau "dedupe" — berarti memindai blok teks yang dipisah baris-baru dan hanya menyimpan satu salinan dari setiap baris yang berbeda. Ini salah satu tugas pembersihan paling umum yang ditemui siapa pun yang bekerja dengan data: meciutkan milis yang menumpuk pengulangan, mereduksi log ke pesan uniknya, menemukan nilai berbeda dalam kolom spreadsheet, atau menggabungkan beberapa daftar menjadi satu set yang bersih.

Pertanyaan menariknya adalah apa yang dihitung sebagai duplikat. Perbandingan byte demi byte adalah jawaban ketat, tetapi data nyata lebih berantakan. Dua baris bisa terlihat identik tetapi berbeda oleh spasi di akhir, atau hanya berbeda kapitalisasi — `Error` versus `error`. Alat ini membiarkan Anda memutuskan: secara default ia mengabaikan huruf, dan Anda dapat mengaktifkan perbandingan tak-peka-spasi sehingga baris dicocokkan pada bentuknya yang terpangkas dan huruf-kecil. Dengan begitu Anda menghapus duplikat berdasarkan makna baris alih-alih enkoding persisnya, yang hampir selalu Anda inginkan.

Keputusan lainnya adalah salinan mana yang disimpan. Menyimpan kemunculan pertama menjaga urutan asli dan merupakan default; menyimpan yang terakhir berguna saat entri berikutnya menggantikan yang sebelumnya. Bagaimanapun, hasilnya deterministik dan lencana statistik langsung memberi tahu Anda persis berapa duplikat yang dihapus, jadi Anda tidak pernah harus memercayai alat secara buta.

Penghapusan duplikat berpasangan alami dengan pengurutan dan pembersihan lain. Alat ini melipatnya ke dalam satu panel: hapus duplikat, lalu opsional urutkan, pangkas spasi, buang baris kosong, balik, atau tambah nomor baris. Saat pengurutan adalah acara utama, gunakan alat pendamping Urutkan Baris Teks, yang berbagi mesin yang sama. Untuk menghitung baris dan kata dalam teks Anda, gunakan Penghitung Kata; untuk melihat apa yang berubah antara dua versi daftar, gunakan Text Diff; dan untuk menormalkan casing sebelum dedupe, gunakan Pengubah Case.

Semuanya berjalan sepenuhnya di peramban Anda tanpa unggahan, sehingga menghapus duplikat daftar rahasia sama pribadinya dengan menyuntingnya secara lokal. Tempel, dan hasil unik siap disalin dalam sedetik.

Input:
  alice@example.com
  bob@example.com
  alice@example.com
  ALICE@example.com

Exact dedupe (case-sensitive):
  alice@example.com
  bob@example.com
  ALICE@example.com

Case-insensitive dedupe (default):
  alice@example.com
  bob@example.com   ← ALICE collapsed into alice

Fitur Utama

Penghapusan Duplikat yang Menjaga Urutan

Menyimpan setiap baris unik sekali dalam urutan aslinya secara default — perilaku yang sama dengan `awk '!seen[$0]++'` tetapi tanpa terminal. Daftar Anda tetap dalam urutan yang Anda tempel, hanya tanpa pengulangan.

Simpan Kemunculan Pertama atau Terakhir

Pilih apakah kemunculan pertama atau terakhir dari setiap baris yang bertahan. Simpan-pertama menjaga urutan untuk pembersihan umum; simpan-terakhir ideal saat entri berikutnya menimpa yang sebelumnya, seperti nilai konfigurasi atau lingkungan.

Pencocokan Tak-Peka-Huruf

Secara default `Error`, `error`, dan `ERROR` diciutkan menjadi satu baris — pilihan alami untuk sebagian besar daftar. Aktifkan Peka huruf besar/kecil saat casing bermakna dan duplikat harus cocok persis.

Pencocokan Tak-Peka-Spasi

Abaikan spasi awal/akhir menangkap duplikat tak-terlihat yang hanya berbeda oleh spasi di akhir atau tab — alasan nomor-satu baris "identik" gagal di-dedupe pada data yang ditempel dari spreadsheet dan PDF.

Hitungan Duplikat Langsung

Lencana statistik menunjukkan `12 baris → 9 baris · 3 duplikat dihapus` saat Anda mengetik. Anda selalu tahu persis berapa pengulangan yang diciutkan — tanpa menebak apakah alat benar-benar melakukan sesuatu.

Dedupe + Urutkan dalam Satu Proses

Aktifkan urutan pengurutan untuk mendapatkan daftar unik yang teralfabet (atau natural, atau terurut-panjang) dalam satu langkah. Penghapusan duplikat berjalan lebih dulu, lalu pengurutan, jadi tidak ada yang hilang dan keluaran bersih sekaligus terurut.

Toggle Pembersihan

Panel yang sama juga memangkas spasi, membuang baris kosong, membalik urutan, dan menomori hasil. Tumpuk salah satunya di atas dedupe dan daftar tempelan kacau menjadi keluaran bersih, unik, siap-tempel di satu tempat — tanpa skrip.

Privasi 100% Berbasis Peramban

Teks Anda tidak pernah meninggalkan halaman — tanpa unggahan, tanpa pencatatan, tanpa analitik. Aman untuk daftar email, log akses, dan data rahasia. Verifikasi sendiri di tab Network: dedupe menghasilkan nol permintaan.

Contoh Hapus Baris Duplikat

Hapus duplikat persis

apple
banana
apple
cherry
banana
apple
banana
cherry

Perilaku default: setiap baris disimpan sekali, pada kemunculan pertamanya, dan pengulangan persis berikutnya dijatuhkan. Urutan asli dipertahankan. Lencana statistik melaporkan `5 baris → 3 baris · 2 duplikat dihapus`.

Abaikan huruf besar/kecil

Error
error
ERROR
Warning
Error
Warning

Dengan Peka huruf besar/kecil mati (default), `Error`, `error`, dan `ERROR` diperlakukan sebagai baris yang sama, jadi hanya yang pertama disimpan. Nyalakan Peka huruf besar/kecil untuk menyimpan ketiganya sebagai entri berbeda.

Abaikan spasi awal/akhir

apple
  apple  
banana
banana
apple
banana

Aktifkan Abaikan spasi awal/akhir sehingga `apple` dan ` apple ` dibandingkan sebagai sama. Ini menangkap duplikat tak-terlihat yang menjangkiti data yang disalin dari spreadsheet, PDF, dan terminal tempat spasi di akhir menyelinap masuk.

Simpan kemunculan terakhir

v1
v2
v1
v3
v2
v1
v3

Alihkan Simpan kemunculan ke Terakhir dan kemunculan akhir setiap baris bertahan, di posisi terakhirnya. Di sini `v1` kedua disimpan dan yang pertama dihapus. Berguna saat entri berikutnya menimpa yang sebelumnya, seperti variabel lingkungan atau override konfigurasi.

Hapus duplikat dan urutkan sekaligus

dog
cat
dog
bird
cat
bird
cat
dog

Aktifkan pengurutan Naik untuk mendapatkan daftar yang bersih, unik, dan terurut alfabetis dalam satu langkah. Penghapusan duplikat berjalan lebih dulu, lalu pengurutan, sehingga keluaran unik sekaligus terurut — ideal untuk mengubah kolom tempelan berantakan menjadi set yang rapi.

Hapus baris kosong dan duplikat

alpha

beta
alpha

gamma
alpha
beta
gamma

Aktifkan Hapus baris kosong bersama penghapusan duplikat untuk membuang baris kosong dan pengulangan sekaligus. Lencana statistik memisahkan keduanya: `6 baris → 3 baris · 1 duplikat dihapus · 2 kosong dihapus`.

Hitung berapa duplikat yang ada

a
b
a
a
c
b
a
b
c

Bahkan jika Anda hanya peduli pada hitungan, penghapusan duplikat memberi Anda jawabannya: lencana statistik menunjukkan `6 baris → 3 baris · 3 duplikat dihapus`. Cara cepat mengetahui berapa banyak pengulangan yang bersembunyi dalam daftar tanpa menghitungnya manual.

Gabung dua daftar menjadi entri unik

red
green
blue
green
yellow
red
red
green
blue
yellow

Tempel dua daftar berturut-turut dan hapus duplikat untuk mendapatkan gabungannya — setiap baris berbeda, tanpa pengulangan, urutan terlihat-pertama dipertahankan. Cara tercepat menggabungkan milis, set tag, atau daftar ID tanpa rumus spreadsheet.

Cara Menghapus Baris Duplikat

  1. 1

    Tempel atau ketik baris Anda

    Jatuhkan teks Anda ke kotak masukan. Setiap baris-baru adalah baris terpisah. Duplikat dihapus seketika saat Anda mengetik — tidak ada tombol kirim. Jeda baris di akhir diabaikan sehingga tidak dihitung sebagai baris kosong tambahan.

  2. 2

    Pilih apa yang dihitung sebagai duplikat

    Biarkan Peka huruf besar/kecil mati untuk memperlakukan `Foo` dan `foo` sebagai sama, atau nyalakan untuk memisahkannya. Aktifkan Abaikan spasi awal/akhir untuk menangkap baris yang hanya berbeda oleh spasi liar.

  3. 3

    Pilih kemunculan mana yang disimpan

    Simpan kemunculan default ke Pertama, menjaga urutan asli. Beralih ke Terakhir saat kemunculan akhir setiap baris harus menang — berguna untuk override di mana entri berikutnya menggantikan yang sebelumnya.

  4. 4

    Tambah pengurutan atau pembersihan jika perlu

    Aktifkan urutan pengurutan untuk mengalfabetkan hasil unik, atau aktifkan Hapus baris kosong dan Pangkas setiap baris untuk merapikan daftar dalam proses yang sama. Lencana statistik menunjukkan efek setiap toggle.

  5. 5

    Salin hasil unik

    Klik Salin untuk menaruh keluaran dedupe ke clipboard. Gunakan Atur Ulang untuk membersihkan kedua kotak, atau Contoh untuk memuat daftar contoh. Tidak ada yang diunggah pada titik mana pun dalam proses.

Kesalahan Umum Penghapusan Duplikat

Spasi Menyembunyikan Duplikat

Baris yang terlihat identik tetapi berbeda oleh spasi di akhir atau tab bukan duplikat persis, jadi mereka bertahan. Aktifkan Abaikan spasi awal/akhir untuk membandingkan pada bentuk terpangkas. Ini adalah kejutan dedupe paling umum, terutama dengan data spreadsheet dan PDF.

✗ Salah 
Cocok persis ("apple " ≠ "apple"):
  apple
  apple     ← spasi di akhir, disimpan sebagai unik
  banana
✓ Benar 
Abaikan spasi:
  apple
  banana

Perbedaan Huruf Diperlakukan sebagai Unik

Dengan Peka huruf besar/kecil aktif, `Error` dan `error` adalah baris berbeda dan keduanya bertahan. Jika Anda memaksudkannya sama, matikan Peka huruf besar/kecil (default). Sebaliknya, mematikannya saat huruf bermakna bisa menggabungkan baris yang ingin Anda pisahkan.

✗ Salah 
Peka-huruf aktif:
  Error
  error
  ERROR   ← ketiganya disimpan
✓ Benar 
Tak-peka-huruf (default):
  Error   ← sisanya diciutkan

Mengharapkan Duplikat Tak-Berdekatan Bertahan

Tidak seperti `uniq` baris-perintah, alat ini menghapus duplikat di mana pun dalam daftar, bukan hanya yang berdekatan — jadi Anda tidak perlu mengurutkan dulu. Jika Anda sebenarnya ingin meciutkan hanya pengulangan berurutan, alat ini bukan yang cocok; urutkan atau restrukturisasi data Anda.

✗ Salah 
Mengasumsikan perilaku uniq (hanya berdekatan):
  a
  b
  a   ← diharapkan bertahan, tetapi dihapus
✓ Benar 
Dedupe penuh (alat ini):
  a
  b   ← 'a' berikutnya dihapus di mana pun ia muncul

Mengacaukan Penghapusan Baris Kosong dengan Dedupe

Penghapusan duplikat meciutkan baris kosong berulang tetapi menyimpan satu; ia tidak menghapus semua baris kosong. Untuk membuang setiap baris kosong, aktifkan Hapus baris kosong. Lencana statistik melaporkan kedua hitungan terpisah sehingga Anda bisa tahu apakah baris kosong atau duplikat sejati yang dihapus.

✗ Salah 
Dedupe saja (satu kosong disimpan):
  alpha
  (kosong)
  beta
✓ Benar 
Dedupe + Hapus baris kosong:
  alpha
  beta

Hapus Baris Duplikat: Kasus Penggunaan

Bersihkan Daftar Email & Kontak
Tempel milis yang diekspor yang menumpuk pengulangan dan dapatkan set unik kembali. Aktifkan pencocokan tak-peka-huruf dan tak-peka-spasi sehingga `Bob@x.com`, `bob@x.com`, dan `bob@x.com ` semuanya diciutkan menjadi satu alamat.
Reduksi Log ke Pesan Unik
Dedupe log yang berisik untuk melihat baris error atau peristiwa yang berbeda tanpa pengulangan. Simpan-terakhir berguna saat kemunculan terbaru setiap pesan lebih penting daripada yang pertama.
Temukan Nilai Unik dalam Kolom
Salin kolom dari CSV atau spreadsheet, dedupe, dan keluarannya adalah himpunan nilai berbeda — dengan hitungan berapa duplikat yang ada, yang sekaligus menjadi pemeriksaan kardinalitas cepat. Ia juga membiarkan Anda menemukan baris duplikat dan melucuti baris berulang dari kolom tempelan tanpa rumus spreadsheet.
Gabung Daftar Tanpa Pengulangan
Tempel dua daftar atau lebih berturut-turut dan dedupe untuk mendapatkan gabungannya: setiap baris berbeda, tanpa pengulangan, dalam urutan terlihat-pertama. Lebih cepat daripada rumus spreadsheet untuk penggabungan sekali pakai tag, ID, atau nama.
Dedupe Wordlist Keamanan
Gabungkan dan bersihkan wordlist kata sandi, daftar subdomain, atau kamus fuzzing sepenuhnya offline. Karena setiap operasi lokal, data keamanan rahasia tetap di mesin Anda dan tidak pernah dikirim ke layanan eksternal.
Rapikan Daftar Impor atau Dependensi
Hapus pernyataan impor, nama paket, atau entri dependensi duplikat yang menyelinap masuk saat salin-tempel. Tambahkan urutan pengurutan untuk menghasilkan daftar unik kanonik yang menjaga diff mendatang tetap kecil.
Siapkan Data untuk Analisis
Lucuti pengulangan sebelum menghitung, membuat grafik, atau memuat data agar duplikat tidak membiaskan hasil Anda. Padukan dengan Penghitung Kata untuk mengukur daftar yang dibersihkan, atau Text Diff untuk membandingkannya dengan versi lain.
Dedupe Daftar Kata Kunci untuk SEO
Ekspor riset kata kunci penuh dengan nyaris-duplikat. Hapus pengulangan persis di sini, opsional huruf-kecil dan terpangkas, untuk mendapatkan set kata kunci unik yang bersih sebelum mengelompokkan atau memetakannya ke halaman.

Cara Kerja Penghapusan Duplikat

Penghapusan Duplikat Hash-Set
Baris di-dedupe dengan hash set (`Set` atau `Map` JavaScript) yang dikunci pada bentuk perbandingan setiap baris, memberi performa waktu-linear bahkan untuk daftar besar. Kunci setiap baris dihitung sekali dan dicari dalam waktu konstan.
Normalisasi Kunci Perbandingan
Kunci yang dipakai untuk pencocokan diturunkan dari baris: dipangkas dulu jika Abaikan spasi awal/akhir aktif, lalu di-huruf-kecil jika Peka huruf besar/kecil mati. Baris asli — bukan kunci ternormalisasi — yang muncul di keluaran, jadi casing dan spasi baris yang bertahan dipertahankan.
Simpan-Pertama vs Simpan-Terakhir
Simpan-pertama mendorong baris ke hasil saat kuncinya pertama terlihat dan melewati pengulangan berikutnya. Simpan-terakhir menghitung indeks akhir setiap kunci dan hanya menyimpan baris pada indeks itu, jadi salinan yang bertahan duduk di posisi terakhirnya sementara urutan keseluruhan tetap mengikuti masukan.
Pemisahan Baris (CRLF / LF / CR)
Baris dipisah pada konvensi baris-baru apa pun — `\r\n` (Windows), `\n` (Unix), atau `\r` (Mac klasik) — jadi masukan campuran atau tempelan langsung bekerja. Satu jeda baris di akhir dijatuhkan sebelum pemrosesan agar file yang berakhir dengan jeda baris tidak mendaftarkan duplikat kosong hantu di bawah.
Urutan Pipeline Deterministik
Pipeline berjalan dalam urutan tetap — pemangkasan spasi, lalu penghapusan baris kosong, lalu penghapusan duplikat, lalu pengurutan atau pengacakan, lalu pembalikan, lalu penomoran baris. Karena duplikat diciutkan sebelum langkah pengurutan opsional, mengaktifkan urutan pengurutan menata ulang set unik tanpa pernah menjatuhkan baris yang berbeda.
Hitungan Duplikat & Kosong Terpisah
Lencana statistik melacak duplikat yang dihapus dan baris kosong yang dihapus secara independen, dihitung sebagai selisih jumlah baris sebelum dan sesudah setiap tahap. Ini membiarkan Anda melihat, misalnya, `1 duplikat dihapus · 2 kosong dihapus` alih-alih satu angka gabungan.
Di Peramban, Tanpa Worker
Semua penghapusan duplikat berjalan di thread utama di peramban Anda tanpa perjalanan bolak-balik server. Daftar tipikal selesai seketika; karena algoritma linear dan berbasis-set, performa berskala anggun ke masukan yang sangat besar tanpa membekukan halaman.

Praktik Terbaik Penghapusan Duplikat

Pangkas Spasi untuk Menangkap Duplikat Tersembunyi
Alasan paling umum duplikat bertahan adalah spasi di akhir yang tak-terlihat. Saat dedupe data yang ditempel dari spreadsheet, PDF, atau terminal, aktifkan Abaikan spasi awal/akhir agar baris dibandingkan pada bentuk terpangkasnya. Jika hitungan duplikat yang dihapus lebih rendah dari harapan Anda, spasi biasanya penyebabnya.
Putuskan Sensitivitas Huruf dengan Sengaja
Untuk email, tag, dan daftar yang dapat dibaca manusia, biarkan Peka huruf besar/kecil mati agar `Foo` dan `foo` diciutkan. Nyalakan hanya untuk data yang huruf-nya signifikan seperti identifier atau hash di mana `A1B2` dan `a1b2` benar-benar nilai berbeda. Salah memilih diam-diam mengubah baris mana yang bertahan.
Gunakan Simpan-Terakhir untuk Semantik Override
Saat entri berikutnya harus menang — override konfigurasi, variabel lingkungan, log di mana status terbaru penting — alihkan Simpan kemunculan ke Terakhir. Untuk pembersihan daftar umum di mana urutan harus dipertahankan dari atas, biarkan default Pertama.
Dedupe Sebelum Menghitung atau Menganalisis
Pengulangan membiaskan hitungan, grafik, dan agregat. Hapus duplikat lebih dulu, lalu ukur. Lencana statistik sekaligus menjadi pemeriksaan kardinalitas cepat: selisih antara baris masuk dan baris keluar memberi tahu berapa banyak pengulangan yang dibawa data.
Urutkan Setelah Dedupe untuk Daftar Kanonik
Jika Anda butuh daftar yang stabil dan dapat dibandingkan — untuk file konfigurasi, manifes, atau diff — aktifkan urutan pengurutan bersama penghapusan duplikat. Daftar unik dan terurut menghasilkan diff minimal dan mudah dibandingkan dengan versi lain via Text Diff.
Verifikasi dengan Hitungan Langsung Sebelum Menyalin
Lirik lencana statistik sebelum Anda menyalin. `12 baris → 9 baris · 3 duplikat dihapus` memastikan alat melakukan yang Anda maksudkan. Jika angka terlihat janggal — nol dihapus saat Anda mengharapkan pengulangan — tinjau ulang pengaturan huruf dan spasi.

Pertanyaan yang Sering Diajukan

Apa fungsi alat ini?
Ia menghapus baris duplikat dari blok teks, menyimpan setiap baris unik sekali. Saat Anda menempel atau mengetik, hasil dedupe muncul seketika dengan hitungan langsung baris masuk, baris keluar, dan berapa duplikat yang dihapus. Anda dapat mengontrol apa yang dihitung sebagai duplikat (abaikan huruf, abaikan spasi), memilih menyimpan kemunculan pertama atau terakhir, dan opsional mengurutkan, memangkas, menghapus baris kosong, atau menambah nomor baris dalam proses yang sama. Semuanya berjalan 100% di sisi klien di peramban Anda — tidak ada yang diunggah, dicatat, atau disimpan — jadi aman untuk email, log, dan daftar rahasia apa pun. Anda dapat memastikannya di tab Network peramban: dedupe memicu nol permintaan jaringan.
Apakah ia menyimpan kemunculan pertama atau terakhir dari duplikat?
Secara default ia menyimpan kemunculan pertama dan menghapus pengulangan berikutnya, yang menjaga urutan asli daftar Anda. Alihkan Simpan kemunculan ke Terakhir untuk menyimpan kemunculan akhir setiap baris — baris yang bertahan lalu duduk di posisi terakhirnya. Simpan-pertama adalah pilihan yang tepat sebagian besar waktu (itulah yang dilakukan `sort -u` dan sebagian besar alat dedupe); simpan-terakhir berguna saat entri berikutnya menggantikan yang sebelumnya, seperti override konfigurasi, variabel lingkungan, atau log di mana status terbaru menang. Lencana statistik melaporkan hitungan duplikat yang sama dalam kedua cara.
Apakah teks saya diunggah ke mana pun?
Tidak. Penghapusan duplikat dan setiap operasi lain berjalan sepenuhnya di peramban Anda menggunakan JavaScript. Teks Anda tidak pernah ditransmisikan, tidak pernah disimpan di server mana pun, tidak pernah dicatat, dan tidak pernah dianalisis. Ini membuat alat aman untuk daftar email, log akses, data internal, dan konten apa pun yang tidak akan Anda tempel ke layanan berjaringan. Tidak ada cookie yang menangkap masukan Anda dan tidak ada analitik pihak ketiga yang membaca apa yang Anda ketik. Buka developer tools peramban dan awasi tab Network saat Anda menempel daftar besar — Anda akan melihat nol permintaan, karena pekerjaan terjadi secara lokal.
Bagaimana cara menghapus duplikat tetapi mengabaikan huruf besar/kecil?
Biarkan Peka huruf besar/kecil mati — itu default. Dengan mati, `Error`, `error`, dan `ERROR` diperlakukan sebagai baris yang sama dan diciutkan menjadi satu entri (yang pertama ditemui, dalam casing aslinya). Nyalakan Peka huruf besar/kecil hanya saat casing bermakna dan `ID` harus dipisahkan dari `id`. Penanganan huruf berlaku pada perbandingan, bukan keluaran: baris yang bertahan mempertahankan casing apa pun yang aslinya dimiliki; hanya keputusan tentang baris mana yang duplikat yang berubah.
Mengapa baris saya yang tampak identik tidak di-dedupe?
Hampir selalu penyebabnya adalah spasi tak-terlihat — spasi di akhir, tab, atau spasi tanpa-jeda — yang membuat dua baris berbeda byte demi byte meski terlihat sama. Aktifkan Abaikan spasi awal/akhir agar baris dibandingkan setelah pemangkasan, dan duplikat akan diciutkan. Ini sangat umum pada data yang ditempel dari spreadsheet, PDF, dan keluaran terminal. Jika baris masih menolak bergabung, mereka mungkin berbeda oleh karakter internal (spasi ganda vs tunggal, atau kutip pintar vs kutip lurus); pemangkasan hanya menangani ujung.
Apakah menghapus duplikat mengubah urutan baris saya?
Tidak — dengan simpan-pertama (default), baris yang bertahan tetap dalam urutan aslinya; hanya kemunculan berulang yang dihapus. Jadi dedupe `a, b, a, c` menghasilkan `a, b, c` dalam urutan itu. Jika Anda juga ingin hasil terurut, aktifkan urutan pengurutan dan alat akan menghapus duplikat lebih dulu, lalu mengurutkan. Dengan simpan-terakhir, urutan tetap berbasis posisi asli, tetapi setiap baris yang bertahan pindah ke tempat kemunculan terakhirnya. Dalam setiap mode keluaran bersifat deterministik, jadi masukan dan pengaturan yang sama selalu menghasilkan hasil yang sama.
Dapatkah saya menghapus duplikat dan mengurutkan sekaligus?
Ya. Aktifkan urutan pengurutan (Naik atau Turun) saat penghapusan duplikat aktif, dan Anda mendapatkan daftar yang bersih, unik, dan terurut dalam satu langkah. Pipeline menghapus duplikat lebih dulu, lalu mengurutkan, jadi tidak ada yang hilang. Jika pengurutan adalah tujuan utama Anda dan dedupe sekunder, alat pendamping Urutkan Baris Teks berbagi mesin yang sama dan terbuka dengan pengurutan aktif. Kedua alat mengekspos set opsi penuh; mereka hanya berbeda pada tugas mana yang mereka pimpin.
Apa yang terjadi pada baris kosong?
Secara default, baris kosong diperlakukan seperti baris lain: jika baris kosong yang sama muncul dua kali, duplikatnya dihapus, tetapi satu baris kosong dipertahankan. Jika Anda ingin membuang semua baris kosong dan baris yang hanya berisi spasi sepenuhnya, aktifkan Hapus baris kosong — lencana statistik menghitungnya terpisah dari duplikat, jadi Anda bisa melihat `6 baris → 3 baris · 1 duplikat dihapus · 2 kosong dihapus`. Satu jeda baris di akhir masukan Anda diperlakukan sebagai terminator baris, bukan baris kosong tambahan, jadi ia tidak akan mengacaukan hitungan.
Apakah ada batas ukuran daftar?
Tidak ada batas keras yang dibangun ke dalam alat; ia hanya dibatasi oleh memori peramban Anda dan seberapa banyak teks yang bisa Anda tempel ke textarea. Penghapusan duplikat menggunakan hash set, jadi ia cepat bahkan untuk daftar besar — puluhan ribu baris seketika dan ratusan ribu selesai dengan jeda singkat. Karena semuanya berjalan secara lokal, daftar besar sering lebih cepat di sini daripada alat berbasis server yang harus mengunggah data Anda lebih dulu. Untuk file jutaan-baris, alat baris-perintah seperti `sort -u` atau `awk '!seen[$0]++'` akan lebih nyaman, tetapi untuk daftar sehari-hari alat ini menanganinya dengan mudah.
Bagaimana perbandingannya dengan baris perintah (sort -u, awk, uniq)?
`sort -u` menghapus duplikat tetapi juga mengurutkan, dan `uniq` hanya meciutkan duplikat berdekatan (jadi ia memerlukan masukan yang sudah terurut). `awk '!seen[$0]++'` menghapus duplikat sambil menjaga urutan asli — sama seperti mode simpan-pertama alat ini — tetapi memerlukan terminal. Alat ini memberi Anda dedupe yang menjaga urutan, simpan-pertama atau simpan-terakhir, perbandingan tak-peka-huruf dan tak-peka-spasi, pengurutan opsional, dan hitungan langsung, semua tanpa meninggalkan peramban atau memasang apa pun. Ini opsi tercepat saat daftar sudah ada di clipboard Anda alih-alih di file.
Bagaimana ini lebih cepat daripada menghapus baris duplikat di Excel atau Notepad++?
Di Excel Anda akan memakai Data → Remove Duplicates pada kolom, dan Notepad++ butuh plugin TextFX atau sort-lalu-uniq — keduanya memerlukan data sudah berada di dalam aplikasi itu. Alat ini bekerja begitu teks ada di clipboard Anda: tempel dan baris duplikat dihapus seketika, dengan pencocokan tak-peka-huruf dan tak-peka-spasi, simpan-pertama atau simpan-terakhir, dan hitungan duplikat langsung yang tidak ditunjukkan alat tersebut. Ia juga menjaga urutan asli, tidak seperti penghapusan berbasis-baris Excel atau pendekatan urut-dulu, dan tidak ada yang diunggah. Saat Anda hanya perlu dedupe sepotong teks dengan cepat, ia mengalahkan beralih ke spreadsheet atau memasang plugin.
Dapatkah saya memakai ini untuk menemukan nilai unik dalam kolom?
Ya. Salin satu kolom dari spreadsheet atau CSV, tempel di sini, dan keluaran dedupe adalah himpunan nilai unik. Aktifkan Abaikan spasi awal/akhir untuk menangkap nilai yang hanya berbeda oleh spasi liar, dan aktifkan urutan pengurutan jika Anda ingin mengurutkannya. Lencana statistik memberi tahu berapa duplikat yang ada, yang sekaligus menjadi cara cepat mengukur kardinalitas kolom. Tempel hasil unik kembali ke sheet atau kueri Anda saat selesai.

Alat Terkait

Lihat semua alat →

Pengubah Case — UPPERCASE, lowercase, camelCase & Lainnya

Pemrosesan Teks

Ubah teks antara UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE, dan 6 format lainnya secara langsung. Gratis, hanya peramban, tanpa daftar.

Generator Lorem Ipsum — Alat Teks Placeholder Gratis

Pemrosesan Teks

Buat teks placeholder Lorem Ipsum secara instan — per paragraf, kalimat, kata, byte, atau daftar. Salin atau unduh sebagai teks biasa, HTML, Markdown, atau JSON. 100% gratis, privat, di peramban. Tanpa daftar.

Penguji Regex Gratis — Debug & Cocokkan Pola Online

Pemrosesan Teks

Uji pola regex secara langsung terhadap teks apa pun. Penyorotan kecocokan waktu nyata, grup tangkap, pratinjau ganti, pemisah, dan penjelas pola. Ekspresi reguler rasa JavaScript, 100% privat, tanpa daftar.

Pembuat Slug URL — Slugify Teks Apa Pun

Pemrosesan Teks

Ubah judul apa pun menjadi slug URL yang bersih dan ramah SEO secara langsung. Transliterasi aksen dan Sirilik, atau pertahankan huruf Unicode. 100% privat di peramban Anda.

Urutkan Baris Teks Secara Alfabetis & Natural

Pemrosesan Teks

Urutkan baris teks secara alfabetis, numerik (urutan natural), atau berdasarkan panjang — naik atau turun. Pengurut baris online gratis, 100% di peramban. Juga hapus duplikat, balik, dan bersihkan daftar. Tanpa daftar.

Bandingkan Teks & Text Diff

Pemrosesan Teks

Bandingkan dua teks langsung di browser. Tampilan berdampingan, sorotan per kata, ekspor diff terpadu, opsi abaikan kapitalisasi/spasi/baris kosong. 100 % di browser — tanpa upload.