DeepSeek, Qwen ve GPT için sağlayıcının kendi tokenizer'ıyla kesin token sayısı; karakter tahmini değil. Metni yapıştırın, beş sözlüğü yan yana karşılaştırın, her token'ın nerede bölündüğünü görün. Ücretsiz, tarayıcıda çalışır.
| Model | Token | Karakter başına token | Sözlük |
|---|---|---|---|
| DeepSeek V4 / V3 / R1 DeepSeek · 128K | — | DeepSeek · 128K | |
| Qwen3.5 / 3.6 / 3.8 Qwen · 248K | — | Qwen · 248K | |
| Qwen3 / Qwen2.5 / QwQ Qwen · 151K | — | Qwen · 151K | |
| GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base | — | o200k_base | |
| GPT-4 / GPT-3.5 Turbo cl100k_base | — | cl100k_base |
Bunlar metnin kendi token'larıdır. Bir API çağrısı her mesajın çevresindeki sohbet şablonunu da sayar; bu yüzden bildirilen prompt_tokens genellikle birkaç fazla olur.
Her token'ı görmek için metin yazın ya da yapıştırın.
Sağlayıcınızın fiyatlandırma sayfasındaki giriş fiyatını girin. Fiyatlar değiştiği için araçta sabit fiyat yoktur.
Go Tools Mühendislik Ekibi tarafından geliştirildi ve doğrulandı.
İngilizcede token başına yaklaşık 4 karakter Sözlüğe ve dile bağlıdır. Bu sitenin kendi metinleri (yaklaşık 82.000 Çince karakter) üzerinde ölçüldüğünde İngilizcede token başına yaklaşık 4,3–4,4 karakter, yani kelime başına yaklaşık 1,4 token düşer; Çince düzyazıda bir Çince karakter DeepSeek ve Qwen3.5'te yaklaşık 0,8, Qwen3'te 0,9, GPT-4o'da 1,0 ve GPT-4'te 1,3 token tutar.
DeepSeek'te yaklaşık 6.300, GPT-4'te 10.000 Noktalama işaretleri de karakter sayıldığında, sitenin Çince düzyazısında ölçülen değerler şöyle: DeepSeek'te yaklaşık 6.200–6.300, Qwen3.5'te 6.400–6.500, Qwen3'te 7.000–7.200, GPT-4o'da 7.700 ve GPT-4'te 10.300–10.500. Kod ve sayı ağırlıklı metinler daha fazla tutar.
Aynı metin: İngilizcede 59–60, Çincede 71–156 token Bu sayfanın “Çince” ve “İngilizce” örnekleri aynı metindir. İngilizce sürüm beş sözlüğün hepsinde 59–60 token'dır; Çince sürüm ise Qwen3.5'te 71, DeepSeek'te 75, Qwen3'te 84, GPT-4o'da 111 ve GPT-4'te 156 token'dır — %18 ile %160 arasında daha fazla. İngilizcede sözlükler arasındaki fark küçüktür (bu sitenin metinlerinde kelime başına yaklaşık 1,4 token); Çincede ise sonuç sözlükteki Çince girdi sayısına bağlıdır ve Çince girdisi az olan bir sözlük (GPT-4'ün cl100k_base sözlüğü) birçok karakteri 2–3 bayt düzeyi token'a böler.
Modelin metni böldüğü ve faturalandırdığı en küçük birim Token, bir dil modelinin metni böldüğü en küçük birimdir; API faturalandırmasının ve bağlam pencerelerinin birimi de odur. Bir kelime, kelimenin bir parçası, bir karakter, bir ifade ya da tek bir karakterin birkaç baytı olabilir — buna her modelin sözlüğü karar verir.
Herkese açık tokenizer yok — yalnızca resmi sayma API'leri Kesin olarak hayır. Claude 3'ten bu yana Claude'un herkese açık bir tokenizer'ı yok; Anthropic bunun yerine bir count_tokens API'si sunuyor (belgelerinde, Claude 4.7 ve sonrasının aynı metin için yaklaşık %30 daha fazla token üreten daha yeni bir tokenizer kullandığı da belirtiliyor). Gemini ve Doubao da aynı şekilde resmi API'leri üzerinden sayılır; Doubao için ayrıca Volcano Engine Ark konsolunda resmi bir token hesaplayıcı vardır (oturum açmak gerekir). Bu araç yalnızca resmi sözlüğü herkese açık olan ve ID ID eşleşen modelleri listeler.
Token, bir dil modelinin okuyup yazdığı birimdir; API'lerin faturalandırdığı ve bağlam pencerelerinin ölçüldüğü birim de odur. Model harfleri ya da Çince karakterleri hiçbir zaman doğrudan görmez: tokenizer'ı metni önce sözlüğünde bulunan parçalara böler ve her parçayı bir tam sayı ID'ye çevirir. Yaygın kelime ve ifadelerin kendi girdileri vardır ve tek token tutar; sözlükte olmayan her şey UTF-8 baytlarına geri düşer, bu yüzden tek bir Çince karakter iki ya da üç token'a mal olabilir. Dolayısıyla sayı sözlüğe bağlıdır. DeepSeek ve Qwen, 人工智能 (yapay zekâ) kelimesini tek bir token olarak saklar, GPT-4o ise ikiye böler; GPT-4'ün cl100k_base sözlüğünde Çince girdi azdır ve aşağıdaki cümle için 12 token gerekir — DeepSeek'in 5 token'ının iki katından fazla. Aşağıda bu aracın gerçek bölme sonucu yer alıyor.
文本：人工智能正在改变世界。（11 个字符） DeepSeek V4 5 [人工智能][正在][改变][世界][。] Qwen3.5 / 3.6 5 [人工智能][正在][改变][世界][。] Qwen3 / 2.5 5 [人工智能][正在][改变][世界][。] GPT-5 / GPT-4o 6 [人工][智能][正在][改变][世界][。] GPT-4 12 [人][工][智×2][能][正在][改][变][世×2][界][。] ×2 表示这个字被拆成了 2 个字节级 token
Qwen3.5, 3.6 ve 3.8, farklı bölme kurallarıyla yeni bir 248K sözlüğe geçti; Qwen3, Qwen2.5 ve QwQ 151K sözlükte kaldı. İkisi de resmi açık ağırlıklardaki tokenizer.json dosyasından alınır ve ayrı ayrı sayılır — hiçbir zaman bir GPT tokenizer'ıyla yaklaşık hesaplanmaz.
DeepSeek kendi resmi sözlüğünü kullanır (V3'ten V4.1'e kadar aynıdır); GPT ise OpenAI'nin o200k_base ve cl100k_base sözlüklerini. 26.714 test metnini (15 dilde 3,88 milyon karakter, kod, boşluk karakterleri ve Unicode sürüm sınırlarındaki karakterler) Hugging Face tokenizers ve OpenAI tiktoken ile ID ID karşılaştırdık: beş sözlüğün tamamı eşleşiyor.
Tek yapıştırma beş sayı verir; metninizi hangi modelin en az token'la işlediğini hemen görürsünüz. Karakter başına token sütunu, farklı uzunluktaki metinleri adil biçimde karşılaştırmayı sağlar.
Bölme görünümü her token'ı renklendirir ve ID'sini gösterebilir. Birkaç bayt düzeyi token ancak birlikte tam karakter oluşturuyorsa, bozuk baytlar yerine tek bir kesikli blokta toplanır; sıfır genişlikli boşluk gibi görünmez karakterler kod noktasıyla yazılır, örneğin ⟨U+200B⟩.
Açılan dosyalar özgün CRLF satır sonlarını ve BOM'u korur. DeepSeek bir Windows satır sonunu (\r\n) iki token'a böler; bu yüzden CRLF satır sonlu aynı kod yaklaşık %15 daha pahalıya gelir. Kutuya yapıştırılan metin, tarayıcının bıraktığı LF satır sonlarıyla sayılır.
Token'lara ayırma bir arka plan iş parçacığında (Web Worker) yapılır; metniniz sunucularımıza gönderilmez. Sözlükler yüklendikten sonra 200.000 Çince karakter bir saniyenin altında sayılır ve metin kutusu takılmadan yanıt vermeye devam eder.
len(tiktoken.get_encoding("o200k_base").encode_ordinary(text)) OpenAI'nin resmi kütüphanesi; yalnızca OpenAI sözlüklerini içerir. GPT-5 ve GPT-4o giriş token'larını saymanın en doğrudan yolu; DeepSeek ya da Qwen'i sayamaz.
AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False) DeepSeek ve Qwen gibi açık modellerin resmi tokenizer'larını yükler. İlk çalıştırmada sözlük dosyalarını Hugging Face'ten indirir.
transformers ile birlikte kullanılan resmi çevrimdışı tokenizer. Sözlüğü bu aracın DeepSeek satırıyla aynıdır.
messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens Herkese açık tokenizer'ı olmayan modeller için tek yol; sonuç sohbet biçiminin ek yükünü de içerir. Bir istek ve API anahtarı gerektirir, metin de sağlayıcıya gider.
Kod yok, bağımlılık yok — tek bir prompt'u kontrol etmek ya da modelleri karşılaştırmak için pratik. Toplu işler için yukarıdaki kütüphaneleri kullanın.
Bu sayfadaki “Çince” örneğine tıklayın: 117 karakterlik gündelik bir metin (106 Çince karakter)
DeepSeek V4 75 Qwen3.5 / 3.6 71 Qwen3 / 2.5 84 GPT-5 / GPT-4o 111 GPT-4 156
Çince karakter başına: Qwen3.5 yaklaşık 0,67, DeepSeek 0,71, Qwen3 0,79, GPT-4o 1,05 ve GPT-4 1,47 token. Aynı metnin İngilizcesi için “İngilizce” örneğine tıklayın: beşi de 59 ile 60 arasında kalır.
订单金额 12345.67 元，共 2026 件
DeepSeek V4 16 …[123][45][.][67]…[202][6]… Qwen3.5 22 …[1][2][3][4][5][.][6][7]…[2][0][2][6]… Qwen3 22 (rakamlar aynı şekilde bölünür) GPT-4o 13 …[123][45][.][67][ 元][，共]… GPT-4 16 …[123][45][.][67]…
İki Qwen kuşağı da her rakamı ayrı böler; DeepSeek ve GPT ise rakamları üçerli gruplara ayırır. Tablolar, faturalar, loglar gibi sayı ağırlıklı metinler Qwen'de belirgin biçimde daha pahalıdır.
你好世界 (karakterlerin arasında üç adet U+200B sıfır genişlikli boşluk)
Boşluksuz: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5 Boşluklu: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8
Sıfır genişlikli boşluklar 你好 ve 世界 kelimelerini böler; böylece her karakter ayrı bir token olur ve her sıfır genişlikli boşluk da bir token daha tutar. Web'den kopyalanan metinlerde sık görülürler; bölme görünümü onları ⟨U+200B⟩ olarak gösterir.
👍🎉
DeepSeek V4 3 Qwen3.5 6 Qwen3 2 GPT-4o 3 GPT-4 6
Qwen3'ün eski sözlüğü iki emojiyi de bütün olarak saklar; yeni 248K sözlük ise onları UTF-8 baytlarına geri düşürür, bu yüzden 4 baytlık bir emoji 3 token tutar. Yeni sözlük her yerde daha ucuz değildir — kendi gerçek metninizi sayın.
Bir prompt, belge ya da kod yapıştırın veya .txt, .md, .json, .csv gibi bir metin dosyası yüklemek için “Dosya aç” düğmesini kullanın. Elinizde metin yok mu? Örneklerden birine tıklayın. İlk sayımda bu siteden beş sözlük indirilir (her biri gzip ile 0,4–2,2 MB); sayfa açık kaldığı sürece yeniden indirilmez.
Tablo DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o ve GPT-4/GPT-3.5 için token sayısını ve karakter başına ortalama token'ı aynı anda gösterir. Üstünde, karaktere dayalı tahminlerle karşılaştırmanız için karakter, Çince karakter ve UTF-8 bayt sayıları yer alır.
“Metin nasıl bölündü” altındaki her renkli blok bir token'dır. Kesikli çerçeve, birkaç bayt düzeyi token'ın ancak birlikte tam karakter oluşturduğunu gösterir. Bir API'nin ya da tiktoken'ın döndürdüğü ID'lerle karşılaştırmak için “Token ID'lerini göster” seçeneğini açın. Model değiştirmek için tablodaki herhangi bir satıra tıklayın.
Seçili modelin milyon token başına giriş fiyatını girin; bu metnin girdi olarak maliyeti hesaplanır. Araçta fiyat listesi yoktur: sağlayıcılar fiyatları sık değiştirir, yoğun saatlere ve önbellek isabetlerine göre ayırır; bu yüzden fiyatlandırma sayfasındaki güncel rakamı kullanın.
Bir sabit yalnızca tek tür metin için geçerlidir. Aynı 24 karakterlik 订单金额 12345.67 元，共 2026 件 metni GPT-4o'da 13, Qwen'de 22 token'dır — rakam arttıkça fark büyür.
token ≈ karakter × 0.6
Hedef modelin sözlüğüyle bölüp say
tiktoken yalnızca OpenAI sözlüklerini içerir. Bu sayfanın “Çince” örneği cl100k_base ile 156 token sayılır, oysa DeepSeek 75 token kullanır — tahmin iki kat yüksek çıkar.
tiktoken.get_encoding("cl100k_base") # DeepSeek için kullanılıyor AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash") Faturaya sohbet şablonu, sistem prompt'u, çıktı ve akıl yürütme modelinin düşünme çıktısı da girer; bazı hizmetler önbellek isabetlerini de farklı fiyatlandırır. Yalnızca giriş metninden yapılan tahmin düşük kalır.
maliyet = prompt token'ları × giriş fiyatı
maliyet = prompt_tokens × giriş fiyatı + completion_tokens × çıkış fiyatı
Sıfır genişlikli boşluklar (U+200B) kelimeleri böler: 你好世界 DeepSeek'te 2 token'dır, karakterlerin arasına üç sıfır genişlikli boşluk girince 7 olur.
你\u200b好\u200b世\u200b界 → 7 tokens
你好世界 → 2 tokens
add_special_tokens=False verin; DeepSeek'in API belgeleri, token kullanımı sayfasında çevrimdışı bir tokenizer paketi de sunar. Metin İşleme
Metni UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE ve 6 biçim daha arasında anında dönüştürün. Ücretsiz, çevrimiçi, kayıt yok.
Metin İşleme
Lorem Ipsum yer tutucu metni anında oluşturun — paragraf, cümle, kelime, bayt veya liste olarak. Düz metin, HTML, Markdown veya JSON olarak kopyalayın ya da indirin. %100 ücretsiz, gizli, tarayıcı içi. Kayıt gerekmez.
Metin İşleme
Düzenli ifadeleri herhangi bir metne karşı anında test edin. Canlı eşleşme vurgulama, yakalama grupları, değiştirme önizlemesi, bölme ve desen açıklayıcı. JavaScript lehçesi regex, %100 gizli, çevrimiçi, ücretsiz, kayıt yok.
Metin İşleme
Metinden yinelenen satırları çevrimiçi kaldırın — ücretsiz, anında, %100 tarayıcınızda. Büyük/küçük harf veya boşluğu yoksayın, ilk ya da son tekrarı tutun ve kaldırılan sayıyı görün. Ayrıca sıralayın ve temizleyin. Kayıt yok.
Metin İşleme
Her başlığı anında temiz, SEO dostu bir URL slug'ına çevirin. Aksanları ve Kiril'i harf çevirisiyle dönüştürün veya Unicode harfleri koruyun. %100 gizli, tarayıcınızda.
Metin İşleme
Metin satırlarını alfabetik, sayısal (doğal sıra) veya uzunluğa göre, artan ya da azalan sıralayın. Ücretsiz çevrimiçi satır sıralayıcı, %100 tarayıcınızda. Ayrıca yineleme kaldırma, ters çevirme ve liste temizleme. Kayıt yok.