Wat is een token counter (LLM-tokenteller)?
Een tokenteller splitst tekst met de eigen tokenizer van een taalmodel in tokens en telt ze, zodat je API-kosten en contextlengte kunt inschatten. Plak hier tekst in het invoerveld (of open een tekstbestand): de tabel toont in één keer het aantal tokens voor DeepSeek, beide Qwen-generaties, GPT-5 / GPT-4o en GPT-4, “Zo wordt de tekst opgesplitst” markeert elk token, en met een prijs schat je de inputkosten. Geen account nodig.
Hoeveel tokens is één Chinees karakter? Klopt de 0,6 van DeepSeek?
Gemeten op Chinees proza van deze site gebruikt DeepSeek ongeveer 0,77–0,79 tokens per Chinees karakter, of ongeveer 0,62 per teken als leestekens en spaties als tekens meetellen. De eigen documentatie van DeepSeek noemt “1 Chinees karakter ≈ 0,6 token”, wat overeenkomt met de tweede manier van tellen. Veelvoorkomende woorden smelten samen tot één token; zeldzame karakters worden in tweeën gesplitst (bijvoorbeeld 龘). De cijfers voor de andere modellen staan hierboven in het snelle overzicht.
De API meldt een ander getal. Klopt de telling niet?
De tool telt de tekst zelf en komt ID voor ID overeen met de officiële tokenizers. De prompt_tokens van een API omvatten ook de rolmarkeringen en scheidingstekens die de chattemplate aan elk bericht toevoegt: in het gedocumenteerde voorbeeld van Qwen is 你好 op zichzelf 1 token en wordt het als 11 gefactureerd. Systeemprompts, tooldefinities en eerdere berichten tellen ook mee. Een constant verschil is je templateoverhead — gebruik het om toekomstige schattingen te kalibreren.
Welk vocabulaire gebruiken DeepSeek V4, R1, Qwen3.6 en GPT-5?
Het basisvocabulaire van DeepSeek is identiek van V3, R1, V3.1 en V3.2 tot en met V4 en V4.1; alleen de speciale tokens verschillen. Qwen heeft twee generaties: Qwen3.5, 3.6 en 3.8 gebruiken het nieuwe vocabulaire van 248K, Qwen3, Qwen2.5 en QwQ dat van 151K (dat zijn de vocabulaires van de open weights; de documentatie van Alibaba Cloud vermeldt niet welk vocabulaire de gehoste modellen in Model Studio gebruiken). Voor OpenAI geldt volgens de modeltoewijzing van tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 en o4-mini gebruiken o200k_base; GPT-4, GPT-3.5 Turbo en text-embedding-3 gebruiken cl100k_base.
Waarom heeft GPT-4 voor Chinees zoveel meer tokens nodig dan GPT-4o?
cl100k_base van GPT-4 heeft ongeveer 100.000 items, waarvan weinig Chinese, dus veel karakters kosten twee of drie tokens op byteniveau; o200k_base van GPT-4o heeft ongeveer 200.000 items en veel Chinese woorden. Het voorbeeld “Chinees” op deze pagina is 156 tokens in GPT-4 en 111 in GPT-4o.
Waarom kosten getallen in Qwen zoveel tokens?
De pre-tokenizer van Qwen zet elk cijfer in een eigen blok, dus 1234567 is 7 tokens; DeepSeek en GPT groeperen cijfers per drie en hebben er 3 nodig. Tekst met veel getallen, zoals tabellen, facturen en logs, telt in Qwen merkbaar hoger.
Wordt mijn tekst geüpload?
Hij gaat niet naar onze servers. Het tokeniseren gebeurt in een achtergrondthread in je browser; de enige bestanden die de tool downloadt, zijn de vocabulaires, van deze site, bij het eerste gebruik.
Veranderen regeleinden het aantal tokens?
Ja, het sterkst bij DeepSeek: dat splitst een Windows-regeleinde \r\n in twee tokens, waardoor dezelfde code met CRLF-regeleinden zo'n 15% meer kost, tegenover minder dan 0,5% in de andere vocabulaires. Een tekstvak in de browser zet geplakte regeleinden om in \n, dus geplakte tekst wordt met LF geteld; bestanden die je met “Bestand openen” laadt, behouden hun oorspronkelijke regeleinden en BOM.
Hoe worden markeringen als <|im_start|> of <think> geteld?
Als gewone tekst, opgesplitst in meerdere tokens — net als bij encode_ordinary van tiktoken — en de pagina meldt het als je tekst ze bevat. Host je zelf een open model, dan leest de inferentieserver elke markering meestal als één speciaal token, dus die telling valt lager uit.
Hoe worden de denktokens van een redeneermodel geteld?
Het denkproces wordt door het model gegenereerd en is dus vóór de aanroep niet te kennen; deze tool telt tekst die je al hebt. Volgens de documentatie van Qwen wordt het denkproces als outputtokens gefactureerd; raadpleeg voor andere redeneermodellen de documentatie van de betreffende aanbieder. Het denkproces is vaak langer dan het uiteindelijke antwoord, dus reserveer er apart budget voor.
Hoe lang mag de tekst zijn?
Er is geen harde limiet; het geheugen van de browser is de grens. In onze test werden 200.000 Chinese karakters in minder dan een seconde geteld zodra de vocabulaires geladen waren. Bij heel lange tekst toont de opsplitsingsweergave de eerste 2.000 tokens, terwijl de tellingen altijd de hele tekst omvatten. Geopende bestanden mogen tot 20 MB groot zijn.
Kan tiktoken tokens tellen voor DeepSeek of Qwen?
Nee. tiktoken bevat alleen de vocabulaires van OpenAI (o200k_base, cl100k_base); gebruikt voor DeepSeek of Qwen zit het er bij Chinese tekst ongeveer een factor twee naast (het voorbeeld “Chinees” op deze pagina: 156 met cl100k_base, 75 in DeepSeek). Laad voor DeepSeek en Qwen de officiële tokenizer met Hugging Face transformers en geef add_special_tokens=False mee om op dezelfde telling van platte tekst uit te komen als deze tool; de API-documentatie van DeepSeek biedt op de pagina over tokengebruik ook een offline tokenizerpakket aan.