Jumlah token akurat untuk DeepSeek, Qwen, dan GPT dari tokenizer milik tiap vendor, bukan perkiraan dari karakter. Tempel teks, bandingkan lima kosakata, dan lihat di mana setiap token terpotong. Gratis, berjalan di browser.
| Model | Token | Token per karakter | Kosakata |
|---|---|---|---|
| DeepSeek V4 / V3 / R1 DeepSeek · 128K | — | DeepSeek · 128K | |
| Qwen3.5 / 3.6 / 3.8 Qwen · 248K | — | Qwen · 248K | |
| Qwen3 / Qwen2.5 / QwQ Qwen · 151K | — | Qwen · 151K | |
| GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base | — | o200k_base | |
| GPT-4 / GPT-3.5 Turbo cl100k_base | — | cl100k_base |
Ini token dari teksnya saja. Panggilan API juga menghitung chat template di sekitar setiap pesan, sehingga prompt_tokens yang dilaporkan biasanya sedikit lebih tinggi.
Ketik atau tempel teks untuk melihat setiap token.
Masukkan harga input dari halaman harga penyedia Anda. Harga bisa berubah, jadi alat ini tidak menyimpannya secara tetap.
Dibangun dan diverifikasi oleh Tim Rekayasa Go Tools.
Sekitar 4 karakter bahasa Inggris per token Tergantung kosakata dan bahasanya. Diukur pada teks situs ini sendiri (sekitar 82.000 karakter Han): bahasa Inggris sekitar 4,3–4,4 karakter per token, atau sekitar 1,4 token per kata; dalam prosa Mandarin, satu karakter Han memakan sekitar 0,8 token di DeepSeek dan Qwen3.5, 0,9 di Qwen3, 1,0 di GPT-4o, dan 1,3 di GPT-4.
Sekitar 6.300 di DeepSeek, 10.000 di GPT-4 Dengan tanda baca dihitung sebagai karakter, diukur pada prosa Mandarin situs ini: sekitar 6.200–6.300 di DeepSeek, 6.400–6.500 di Qwen3.5, 7.000–7.200 di Qwen3, 7.700 di GPT-4o, dan 10.300–10.500 di GPT-4. Kode dan teks yang padat angka butuh lebih banyak.
Paragraf yang sama: 59–60 token dalam bahasa Inggris, 71–156 dalam bahasa Mandarin Contoh “Mandarin” dan “Inggris” di halaman ini adalah paragraf yang sama. Versi Inggris bernilai 59–60 token di kelima kosakata; versi Mandarin 71 di Qwen3.5, 75 di DeepSeek, 84 di Qwen3, 111 di GPT-4o, dan 156 di GPT-4 — 18% hingga 160% lebih banyak. Bahasa Inggris hanya sedikit berbeda antarkosakata (sekitar 1,4 token per kata pada teks situs ini); untuk bahasa Mandarin, semuanya bergantung pada jumlah entri Mandarin dalam kosakata, dan kosakata yang entrinya sedikit (cl100k_base milik GPT-4) memecah banyak karakter menjadi 2–3 token tingkat byte.
Satuan terkecil untuk memecah dan menagih teks Token adalah satuan terkecil hasil pemecahan teks oleh model bahasa, sekaligus satuan penagihan API dan ukuran jendela konteks. Token bisa berupa kata, bagian kata, satu karakter, frasa, atau beberapa byte dari satu karakter — kosakata tiap model yang menentukannya.
Tanpa tokenizer publik — hanya API penghitung resmi Tidak secara persis. Claude tidak punya tokenizer publik sejak Claude 3; sebagai gantinya Anthropic menyediakan API count_tokens (dokumentasinya menambahkan bahwa Claude 4.7 dan yang lebih baru memakai tokenizer lebih baru yang menghasilkan sekitar 30% lebih banyak token untuk teks yang sama). Gemini dan Doubao juga dihitung lewat API resmi masing-masing, dan Doubao juga punya kalkulator token resmi di konsol Volcano Engine Ark (perlu login). Alat ini hanya mencantumkan model yang kosakata resminya publik dan cocok ID demi ID.
Token adalah satuan yang dibaca dan ditulis oleh model bahasa, sekaligus satuan penagihan API dan ukuran jendela konteks. Model tidak pernah melihat huruf atau karakter Han secara langsung: tokenizer-nya lebih dulu memotong teks menjadi potongan yang ada di kosakatanya, lalu mengubah setiap potongan menjadi ID berupa bilangan bulat. Kata dan frasa umum punya entri sendiri dan memakan satu token; yang tidak ada di kosakata jatuh kembali ke byte UTF-8, sehingga satu karakter Han bisa memakan dua atau tiga token. Jadi, jumlahnya bergantung pada kosakata. DeepSeek dan Qwen menyimpan 人工智能 (kecerdasan buatan) sebagai satu token dan GPT-4o memecahnya menjadi dua, sedangkan cl100k_base milik GPT-4 hanya punya sedikit entri Mandarin dan butuh 12 token untuk kalimat di bawah — lebih dari dua kali lipat 5 token DeepSeek. Berikut pemecahan yang sebenarnya oleh alat ini.
文本：人工智能正在改变世界。（11 个字符） DeepSeek V4 5 [人工智能][正在][改变][世界][。] Qwen3.5 / 3.6 5 [人工智能][正在][改变][世界][。] Qwen3 / 2.5 5 [人工智能][正在][改变][世界][。] GPT-5 / GPT-4o 6 [人工][智能][正在][改变][世界][。] GPT-4 12 [人][工][智×2][能][正在][改][变][世×2][界][。] ×2 表示这个字被拆成了 2 个字节级 token
Qwen3.5, 3.6, dan 3.8 beralih ke kosakata baru 248K dengan aturan pemecahan yang berbeda; Qwen3, Qwen2.5, dan QwQ tetap memakai kosakata 151K. Keduanya diambil dari tokenizer.json di open weights resmi dan dihitung terpisah — tidak pernah didekati dengan tokenizer GPT.
DeepSeek memakai kosakata resminya (identik dari V3 hingga V4.1); GPT memakai o200k_base dan cl100k_base dari OpenAI. Kami membandingkan 26.714 teks uji (3,88 juta karakter dalam 15 bahasa, kode, karakter spasi, serta karakter di batas versi Unicode) ID demi ID dengan Hugging Face tokenizers dan OpenAI tiktoken: kelima kosakata cocok.
Sekali tempel menghasilkan lima hitungan, sehingga Anda langsung melihat model mana yang mengolah teks Anda dengan token paling sedikit. Kolom “Token per karakter” membuat teks dengan panjang berbeda bisa dibandingkan secara adil.
Tampilan pemecahan mewarnai setiap token dan bisa menampilkan ID-nya. Bila beberapa token tingkat byte baru membentuk karakter utuh jika digabung, token-token itu dikelompokkan dalam satu blok bergaris putus-putus alih-alih ditampilkan sebagai byte acak; karakter tak terlihat seperti spasi lebar nol ditulis dengan code point-nya, misalnya ⟨U+200B⟩.
File yang dibuka mempertahankan jeda baris CRLF dan BOM aslinya. DeepSeek memecah jeda baris Windows \r\n menjadi dua token, sehingga kode yang sama dengan akhir baris CRLF kira-kira 15% lebih mahal. Teks yang ditempel ke kotak dihitung dengan jeda baris LF yang dipertahankan browser.
Tokenisasi berlangsung di thread latar belakang (Web Worker); teks Anda tidak dikirim ke server kami. Setelah kosakata dimuat, 200.000 karakter Han dihitung dalam waktu kurang dari satu detik, dan kotak teks tetap responsif.
len(tiktoken.get_encoding("o200k_base").encode_ordinary(text)) Library resmi OpenAI, hanya untuk kosakata OpenAI. Cara paling langsung untuk menghitung token input GPT-5 dan GPT-4o; tidak bisa menghitung DeepSeek atau Qwen.
AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False) Memuat tokenizer resmi model terbuka seperti DeepSeek dan Qwen. Saat pertama dijalankan, file kosakata diunduh dari Hugging Face.
Tokenizer offline resmi, dipakai bersama transformers. Kosakatanya sama dengan baris DeepSeek di alat ini.
messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens Satu-satunya cara untuk model tanpa tokenizer publik, dan hasilnya sudah mencakup overhead format chat. Butuh request dan API key, dan teksnya dikirim ke vendor.
Tanpa kode dan tanpa dependensi — praktis untuk mengecek satu prompt atau membandingkan model. Untuk pekerjaan batch, pakai library di atas.
Klik contoh “Mandarin” di halaman ini: paragraf sehari-hari sepanjang 117 karakter (106 karakter Han)
DeepSeek V4 75 Qwen3.5 / 3.6 71 Qwen3 / 2.5 84 GPT-5 / GPT-4o 111 GPT-4 156
Per karakter Han: Qwen3.5 sekitar 0,67, DeepSeek 0,71, Qwen3 0,79, GPT-4o 1,05, dan GPT-4 1,47 token. Klik “Inggris” untuk paragraf yang sama dalam bahasa Inggris: kelimanya berada di antara 59 dan 60.
订单金额 12345.67 元，共 2026 件
DeepSeek V4 16 …[123][45][.][67]…[202][6]… Qwen3.5 22 …[1][2][3][4][5][.][6][7]…[2][0][2][6]… Qwen3 22 (digit dipecah dengan cara yang sama) GPT-4o 13 …[123][45][.][67][ 元][，共]… GPT-4 16 …[123][45][.][67]…
Kedua generasi Qwen memecah setiap digit sendiri-sendiri, sedangkan DeepSeek dan GPT mengelompokkan digit per tiga. Teks yang padat angka — tabel, faktur, log — jelas lebih mahal di Qwen.
你好世界 (tiga spasi lebar nol U+200B di antara karakternya)
Tanpa: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5 Dengan: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8
Spasi lebar nol memisahkan 你好 dan 世界, sehingga setiap karakter menjadi token sendiri dan setiap spasi lebar nol memakan satu token lagi. Teks yang disalin dari web sering mengandungnya; tampilan pemecahan menampilkannya sebagai ⟨U+200B⟩.
👍🎉
DeepSeek V4 3 Qwen3.5 6 Qwen3 2 GPT-4o 3 GPT-4 6
Kosakata lama Qwen3 menyimpan kedua emoji secara utuh; kosakata baru 248K mengembalikannya ke byte UTF-8, sehingga emoji 4 byte memakan 3 token. Kosakata yang lebih baru tidak selalu lebih hemat — hitung teks Anda yang sebenarnya.
Tempel prompt, dokumen, atau potongan kode, atau pakai “Buka file” untuk memuat file .txt, .md, .json, .csv, atau file teks lainnya. Tidak punya teks? Klik salah satu contoh. Penghitungan pertama mengunduh lima kosakata dari situs ini (masing-masing 0,4–2,2 MB dalam bentuk gzip); selama halaman tetap terbuka, kosakata itu tidak diunduh lagi.
Tabel menampilkan jumlah token untuk DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o, dan GPT-4/GPT-3.5 sekaligus, ditambah rata-rata token per karakter. Di atasnya ada jumlah karakter, karakter Han, dan byte UTF-8, untuk dibandingkan dengan perkiraan berbasis jumlah karakter.
Setiap blok berwarna di bawah “Cara teks dipecah” adalah satu token. Garis tepi putus-putus berarti beberapa token tingkat byte baru membentuk karakter utuh jika digabung. Aktifkan “Tampilkan ID token” untuk membandingkan dengan ID yang dikembalikan API atau tiktoken. Klik baris tabel mana pun untuk berganti model.
Masukkan harga input model terpilih per sejuta token untuk mendapatkan biaya teks ini sebagai input. Alat ini tidak menyertakan daftar harga — vendor sering mengubah harga dan membedakannya menurut jam sibuk dan cache hit, jadi pakai angka yang tertera di halaman harga mereka hari ini.
Konstanta hanya berlaku untuk satu jenis teks. 24 karakter yang sama, 订单金额 12345.67 元，共 2026 件, adalah 13 token di GPT-4o dan 22 di Qwen — makin banyak digit, makin besar selisihnya.
token ≈ karakter × 0.6
Pecah dengan kosakata model target lalu hitung
tiktoken hanya menyediakan kosakata OpenAI. Contoh “Mandarin” di halaman ini dihitung 156 token dengan cl100k_base, padahal DeepSeek memakai 75 — perkiraan yang dua kali terlalu tinggi.
tiktoken.get_encoding("cl100k_base") # dipakai untuk DeepSeek AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash") Tagihan juga mencakup chat template, system prompt, output, dan proses berpikir model reasoning; beberapa layanan juga memberi harga berbeda untuk cache hit. Perkiraan dari teks input saja hasilnya terlalu rendah.
biaya = token prompt × harga input
biaya = prompt_tokens × harga input + completion_tokens × harga output
Spasi lebar nol (U+200B) memecah kata: 你好世界 adalah 2 token di DeepSeek dan menjadi 7 begitu ada tiga spasi lebar nol di antara karakternya.
你\u200b好\u200b世\u200b界 → 7 token
你好世界 → 2 token
add_special_tokens=False agar hasilnya sama dengan hitungan teks polos alat ini; dokumentasi API DeepSeek juga menyediakan paket tokenizer offline di halaman penggunaan token. Pemrosesan Teks
Ubah teks antara UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE, dan 6 format lainnya secara langsung. Gratis, hanya peramban, tanpa daftar.
Pemrosesan Teks
Buat teks placeholder Lorem Ipsum secara instan — per paragraf, kalimat, kata, byte, atau daftar. Salin atau unduh sebagai teks biasa, HTML, Markdown, atau JSON. 100% gratis, privat, di peramban. Tanpa daftar.
Pemrosesan Teks
Uji pola regex secara langsung terhadap teks apa pun. Penyorotan kecocokan waktu nyata, grup tangkap, pratinjau ganti, pemisah, dan penjelas pola. Ekspresi reguler rasa JavaScript, 100% privat, tanpa daftar.
Pemrosesan Teks
Hapus baris duplikat dari teks secara online — gratis, instan, 100% di peramban. Abaikan huruf besar/kecil atau spasi, simpan kemunculan pertama atau terakhir, dan lihat berapa duplikat dihapus. Juga urutkan. Tanpa daftar.
Pemrosesan Teks
Ubah judul apa pun menjadi slug URL yang bersih dan ramah SEO secara langsung. Transliterasi aksen dan Sirilik, atau pertahankan huruf Unicode. 100% privat di peramban Anda.
Pemrosesan Teks
Urutkan baris teks secara alfabetis, numerik (urutan natural), atau berdasarkan panjang — naik atau turun. Pengurut baris online gratis, 100% di peramban. Juga hapus duplikat, balik, dan bersihkan daftar. Tanpa daftar.