Skip to content

Tokenteller voor DeepSeek, Qwen en GPT

Exacte tokenaantallen voor DeepSeek, Qwen en GPT met de tokenizer van elke aanbieder, geen schatting op tekens. Plak tekst, vergelijk vijf vocabulaires en zie waar elk token begint. Gratis, draait in je browser.

Draait in je browser Gratis
Getokeniseerd in je browser met het eigen vocabulaire van elke aanbieder — je tekst gaat niet naar onze servers.
Voorbeelden:

Tekens
0
Chinese karakters
0
UTF-8-bytes
0
Model Tokens Tokens per teken
DeepSeek V4 / V3 / R1 DeepSeek · 128K —
Qwen3.5 / 3.6 / 3.8 Qwen · 248K —
Qwen3 / Qwen2.5 / QwQ Qwen · 151K —
GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base —
GPT-4 / GPT-3.5 Turbo cl100k_base —

Dit zijn de tokens van de tekst zelf. Een API-aanroep telt ook de chattemplate rond elk bericht mee, dus de prompt_tokens die de API meldt, liggen meestal een paar hoger.

Zo wordt de tekst opgesplitst

Typ of plak tekst om elk token te zien.

Vul de inputprijs in van de prijspagina van je aanbieder. Prijzen veranderen, daarom staan ze niet vast in de tool.

De uitvoer van alle vijf vocabulaires is ID voor ID vergeleken met Hugging Face tokenizers 0.23.3 en OpenAI tiktoken 0.14.0 op 26.714 testteksten (3,88 miljoen tekens) plus een set tekens op de grenzen tussen Unicode-versies, en kwam overeen; elk voorbeeldgetal op deze pagina is gecontroleerd tegen dezelfde referentie-implementaties. De verhoudingen per teken komen uit metingen op de eigen teksten van deze site (29.500 Chinese karakters blogproza en 52.500 uit tooldocumentatie). De toewijzing van modellen aan vocabulaires komt uit de modeltoewijzing van tiktoken en een vergelijking, bestand voor bestand, van de officiële repository's van de aanbieders, gecontroleerd in november 2026. — Ontwikkelteam van Go Tools · 8 nov 2026

Gebouwd en geverifieerd door het ontwikkelteam van Go Tools.

Snel overzicht: tokens omrekenen

Hoeveel tekens is één token?

Ongeveer 4 tekens Engels per token Dat hangt af van het vocabulaire en de taal. Gemeten op de eigen teksten van deze site (ongeveer 82.000 Chinese karakters): Engels komt uit op zo'n 4,3–4,4 tekens per token, ofwel ongeveer 1,4 tokens per woord; in Chinees proza kost een Chinees karakter ongeveer 0,8 tokens in DeepSeek en Qwen3.5, 0,9 in Qwen3, 1,0 in GPT-4o en 1,3 in GPT-4.

Hoeveel tokens zijn 10.000 Chinese karakters?

Ongeveer 6.300 in DeepSeek, 10.000 in GPT-4 Met leestekens meegeteld als tekens, gemeten op Chinees proza van deze site: ongeveer 6.200–6.300 in DeepSeek, 6.400–6.500 in Qwen3.5, 7.000–7.200 in Qwen3, 7.700 in GPT-4o en 10.300–10.500 in GPT-4. Code en tekst met veel getallen kosten meer.

Waarom gebruikt Chinees meer tokens dan Engels?

Dezelfde passage: 59–60 tokens in het Engels, 71–156 in het Chinees De voorbeelden “Chinees” en “Engels” op deze pagina zijn dezelfde passage. De Engelse versie is in alle vijf vocabulaires 59–60 tokens, de Chinese 71 in Qwen3.5, 75 in DeepSeek, 84 in Qwen3, 111 in GPT-4o en 156 in GPT-4 — 18% tot 160% meer. Engels verschilt weinig tussen vocabulaires (ongeveer 1,4 tokens per woord op de teksten van deze site); bij Chinees hangt het af van het aantal Chinese items in het vocabulaire, en een vocabulaire met weinig (cl100k_base van GPT-4) splitst veel karakters in 2–3 tokens op byteniveau.

Wat voor eenheid is een token?

De kleinste eenheid waarin een model tekst opsplitst en afrekent Een token is de kleinste eenheid waarin een taalmodel tekst opsplitst, en de eenheid voor API-facturatie en contextvensters. Het kan een woord zijn, een deel van een woord, een teken, een woordgroep of een paar bytes van één teken — dat bepaalt het vocabulaire van elk model.

Kan deze tool tokens tellen voor Claude, Gemini of Doubao?

Geen openbare tokenizer — alleen officiële tel-API's Niet exact. Claude heeft sinds Claude 3 geen openbare tokenizer; Anthropic biedt in plaats daarvan een count_tokens-API aan (volgens de documentatie gebruiken Claude 4.7 en nieuwer een nieuwere tokenizer die voor dezelfde tekst zo'n 30% meer tokens oplevert). Ook Gemini en Doubao worden via hun officiële API's geteld, en voor Doubao is er daarnaast een officiële tokencalculator in de console van Volcano Engine Ark (inloggen vereist). Deze tool toont alleen modellen waarvan het officiële vocabulaire openbaar is en ID voor ID overeenkomt.

Wat is een token?

Een token is de eenheid waarin een taalmodel leest en schrijft, en de eenheid waarin API's afrekenen en contextvensters worden gemeten. Een model ziet nooit rechtstreeks letters of Chinese karakters: de tokenizer knipt de tekst eerst in stukken die in zijn vocabulaire staan en zet elk stuk om in een geheel getal, de ID. Veelvoorkomende woorden en woordgroepen hebben een eigen item en kosten één token; wat ontbreekt, valt terug op UTF-8-bytes, waardoor één Chinees karakter twee of drie tokens kan kosten. Het aantal hangt dus af van het vocabulaire. DeepSeek en Qwen slaan 人工智能 (kunstmatige intelligentie) op als één token en GPT-4o splitst het in tweeën, terwijl cl100k_base van GPT-4 weinig Chinese items heeft en voor de zin hieronder 12 tokens nodig heeft — meer dan twee keer de 5 van DeepSeek. Hieronder zie je hoe deze tool de zin werkelijk opsplitst.

文本:人工智能正在改变世界。(11 个字符)

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

Wat deze tokenteller doet

Beide Qwen-vocabulaires, exact geteld

Qwen3.5, 3.6 en 3.8 zijn overgestapt op een nieuw vocabulaire van 248K met andere opsplitsregels; Qwen3, Qwen2.5 en QwQ houden dat van 151K. Beide komen uit de tokenizer.json in de officiële open weights en worden apart geteld — nooit benaderd met een GPT-tokenizer.

Officiële vocabulaires, ID voor ID gecontroleerd

DeepSeek gebruikt zijn officiële vocabulaire (identiek van V3 tot V4.1); GPT gebruikt o200k_base en cl100k_base van OpenAI. We hebben 26.714 testteksten (3,88 miljoen tekens in 15 talen, code, witruimte en tekens op de grenzen tussen Unicode-versies) ID voor ID vergeleken met Hugging Face tokenizers en OpenAI tiktoken: alle vijf vocabulaires komen overeen.

Vijf modellen naast elkaar

Eén keer plakken levert vijf tellingen op, zodat je meteen ziet welk model je tekst met de minste tokens verwerkt. De kolom “Tokens per teken” maakt teksten van verschillende lengte eerlijk vergelijkbaar.

Elk token zichtbaar

De opsplitsingsweergave kleurt elk token en kan de ID ervan tonen. Als meerdere tokens op byteniveau pas samen hele tekens vormen, komen ze in één gestippeld blok in plaats van als onleesbare bytes; onzichtbare tekens zoals spaties zonder breedte worden uitgeschreven als codepunt, bijvoorbeeld ⟨U+200B⟩.

Bestanden geteld zoals ze zijn

Geopende bestanden behouden hun oorspronkelijke CRLF-regeleinden en BOM. DeepSeek splitst een Windows-regeleinde \r\n in twee tokens, waardoor dezelfde code met CRLF-regeleinden zo'n 15% meer kost. Tekst die je in het invoerveld plakt, wordt geteld met de LF-regeleinden die de browser behoudt.

Draait in je browser

Het tokeniseren gebeurt in een achtergrondthread (Web Worker); je tekst gaat niet naar onze servers. Zodra de vocabulaires geladen zijn, worden 200.000 Chinese karakters in minder dan een seconde geteld, en het tekstvak blijft gewoon reageren.

Tokens tellen in code

tiktoken (Python)

len(tiktoken.get_encoding("o200k_base").encode_ordinary(text))

De officiële bibliotheek van OpenAI, alleen met vocabulaires van OpenAI. De meest directe manier om inputtokens voor GPT-5 en GPT-4o te tellen; DeepSeek of Qwen kan ze niet tellen.

transformers AutoTokenizer

AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False)

Laadt de officiële tokenizers van open modellen zoals DeepSeek en Qwen. De eerste keer worden de vocabulairebestanden van Hugging Face gedownload.

Offline tokenizer van DeepSeek

API-documentatie van DeepSeek, pagina over tokengebruik

De officiële offline tokenizer, te gebruiken met transformers. Het vocabulaire is hetzelfde als in de DeepSeek-rij van deze tool.

Officiële tel-API's

Anthropic messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens

De enige manier voor modellen zonder openbare tokenizer, en het resultaat omvat de overhead van het chatformaat. Je hebt een request en een API-sleutel nodig, en de tekst gaat naar de aanbieder.

Deze tokenteller

Plakken en vijf tellingen aflezen

Geen code en geen dependencies — handig om één prompt te controleren of modellen te vergelijken. Gebruik voor batchwerk de bibliotheken hierboven.

Voorbeelden: één tekst, vijf opsplitsingen

Eén Chinese passage, in één model twee keer zoveel tokens

Klik op deze pagina op het voorbeeld “Chinees”: een alledaagse passage van 117 tekens (106 Chinese karakters)
DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

Per Chinees karakter: Qwen3.5 ongeveer 0,67, DeepSeek 0,71, Qwen3 0,79, GPT-4o 1,05 en GPT-4 1,47 tokens. Klik op “Engels” voor dezelfde passage in het Engels: alle vijf komen uit tussen 59 en 60.

Getallen: Qwen besteedt één token per cijfer

订单金额 12345.67 元,共 2026 件
DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   (cijfers op dezelfde manier gesplitst)
GPT-4o        13   …[123][45][.][67][ 元][,共]…
GPT-4         16   …[123][45][.][67]…

Beide Qwen-generaties splitsen elk cijfer afzonderlijk, terwijl DeepSeek en GPT cijfers per drie groeperen. Tekst met veel getallen — tabellen, facturen, logs — kost in Qwen merkbaar meer.

Onzichtbare spaties zonder breedte

你​好​世​界 (drie spaties zonder breedte, U+200B, tussen de karakters)
Zonder:  DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
Met:     DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

De spaties zonder breedte breken 你好 en 世界 uit elkaar, zodat elk karakter een eigen token wordt en elke spatie zonder breedte er nog één kost. Tekst van het web bevat ze vaak; de opsplitsingsweergave toont ze als ⟨U+200B⟩.

Emoji: het nieuwere vocabulaire kost meer

👍🎉
DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

Het oudere vocabulaire van Qwen3 bevat beide emoji in hun geheel; het nieuwe vocabulaire van 248K valt terug op UTF-8-bytes, waardoor een emoji van 4 bytes 3 tokens kost. Een nieuwer vocabulaire is niet overal goedkoper — tel je echte tekst.

Zo gebruik je de tokenteller

  1. 1

    Plak je tekst

    Plak een prompt, een document of wat code, of laad met “Bestand openen” een .txt-, .md-, .json-, .csv- of ander tekstbestand. Geen tekst bij de hand? Klik op een van de voorbeelden. Bij de eerste telling worden vijf vocabulaires van deze site gedownload (elk 0,4–2,2 MB, met gzip gecomprimeerd); zolang de pagina openblijft, worden ze niet opnieuw gedownload.

  2. 2

    Lees de vijf tellingen af

    De tabel toont in één keer het aantal tokens voor DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o en GPT-4/GPT-3.5, plus het gemiddelde aantal tokens per teken. Daarboven staan tekens, Chinese karakters en UTF-8-bytes, om te vergelijken met schattingen op basis van het aantal tekens.

  3. 3

    Bekijk de opsplitsing

    Elk gekleurd blok onder “Zo wordt de tekst opgesplitst” is één token. Een gestippelde rand betekent dat meerdere tokens op byteniveau pas samen hele tekens vormen. Zet “Token-ID's tonen” aan om te vergelijken met de ID's die een API of tiktoken teruggeeft. Klik op een tabelrij om van model te wisselen.

  4. 4

    Schat de kosten

    Vul de inputprijs per miljoen tokens van het geselecteerde model in om te zien wat deze tekst als input kost. De tool bevat geen prijslijst — aanbieders wijzigen hun prijzen vaak en maken onderscheid naar piekuren en cachehits, dus gebruik het bedrag dat vandaag op hun prijspagina staat.

Veelgemaakte fouten bij het tellen van tokens

Tokens schatten als tekens × een constante

Een constante klopt maar voor één soort tekst. Dezelfde 24 tekens 订单金额 12345.67 元,共 2026 件 zijn 13 tokens in GPT-4o en 22 in Qwen — hoe meer cijfers, hoe groter het verschil.

✗ Fout
tokens ≈ tekens × 0.6
✓ Correct
Splits met het vocabulaire van het doelmodel en tel

Een GPT-tokenizer gebruiken voor DeepSeek of Qwen

tiktoken bevat alleen vocabulaires van OpenAI. Het voorbeeld “Chinees” op deze pagina telt met cl100k_base 156 tokens, waar DeepSeek er 75 gebruikt — een schatting die twee keer te hoog is.

✗ Fout
tiktoken.get_encoding("cl100k_base")  # gebruikt voor DeepSeek
✓ Correct
AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

De teksttelling voor de rekening houden

De rekening omvat ook de chattemplate, de systeemprompt, de output en het denkproces van een redeneermodel; sommige diensten prijzen cachehits bovendien anders. Een schatting op basis van alleen de inputtekst valt te laag uit.

✗ Fout
kosten = prompttokens × inputprijs
✓ Correct
kosten = prompt_tokens × inputprijs + completion_tokens × outputprijs

Onzichtbare tekens in de tekst

Spaties zonder breedte (U+200B) breken woorden uit elkaar: 你好世界 is 2 tokens in DeepSeek en 7 zodra er drie spaties zonder breedte tussen de karakters staan.

✗ Fout
你\u200b好\u200b世\u200b界   → 7 tokens
✓ Correct
你好世界   → 2 tokens

Wanneer je tokens moet tellen

API-kosten schatten
Plak vóór de lancering een typische prompt, systeemprompt en opgehaalde context om de tokens van de tekst zelf te zien; tel de templateoverhead per bericht erbij op (zie “Tokens van platte tekst vs. API-tellingen”) voor de input van elke aanroep, en vermenigvuldig met de prijs en het aantal aanroepen voor een maandschatting.
Binnen het contextvenster blijven
Lange documenten, chatgeschiedenis en retrievalresultaten tellen snel op. Tel eerst elk onderdeel en beslis dan wat je inkort of samenvat.
Modellen vergelijken op jouw taal
Dezelfde Chinese passage kan in het ene vocabulaire twee keer zoveel tokens kosten als in het andere. Vergelijk de kosten als prijs × het aantal tokens van je tekst in dat model, niet alleen op prijs.
RAG-chunks in tokens afmeten
Chunkgroottes voor retrieval worden meestal in tokens ingesteld. Controleer hoeveel tokens een echte passage in het doelmodel kost voordat je een vaste tekenlengte per chunk kiest.
Uitzoeken waarom een prompt duur is
Tekst die je kopieert uit webpagina's, Word of pdf's bevat vaak spaties zonder breedte, harde spaties en reeksen witruimte die tokens kosten zonder dat je ze ziet. De opsplitsingsweergave markeert ze. Wil je elk teken met naam en codepunt vinden, gebruik dan “Onzichtbare tekens tonen” in de Unicode converter.

Zo wordt tekst in tokens geknipt

BPE: samenvoegen vanaf bytes
Alle vijf vocabulaires zijn byte-level BPE (byte pair encoding). De tekst wordt omgezet in UTF-8-bytes, waarna aangrenzende stukken in een vaste volgorde worden samengevoegd tot langere items uit het vocabulaire, tot er niets meer samen te voegen valt. Die volgorde komt uit trainingsstatistieken, dus dezelfde tekst eindigt in elk vocabulaire bij een andere opsplitsing.
Waarom één karakter 2–3 tokens kan zijn
Een gangbaar Chinees karakter is in UTF-8 3 bytes. Staat het karakter (of een woord waarin het voorkomt) in het vocabulaire, dan is het één token; zo niet, dan blijft het in stukken van bytes — twee of drie tokens. cl100k_base van GPT-4 is het minst vriendelijk voor Chinees: van de 3.755 meest gebruikte karakters, elk apart geëncodeerd, is maar 14,1% één token, tegenover 95,7% bij DeepSeek en 99,9% bij Qwen3.
Pre-tokenisatie: eerst splitsen, dan samenvoegen
Vóór BPE knipt een reguliere expressie de tekst in blokken, en samenvoegingen gaan nooit over een blokgrens heen. De regels verschillen: GPT-4o en GPT-4 groeperen cijfers per drie, Qwen zet elk cijfer in een eigen blok, en DeepSeek isoleert eerst reeksen Chinese karakters en kana (alleen tot U+9FA5; latere karakters volgen de algemene regel). Deze tool bootst elke regel na en zet de tekenklassen vast op Unicode 16 — de versie die de referentie-implementaties gebruiken — zodat de resultaten niet meeschuiven met de Unicode-versie van je browser.
Tokens van platte tekst vs. API-tellingen
De tellingen gelden voor de tekst zelf: geen token voor het begin van de reeks en geen chattemplate. API's verpakken elk bericht in een template: de telfunctie uit het OpenAI Cookbook telt per bericht 3 tokens, de rolnaam en 3 tokens om het antwoord in te leiden erbij op — zo'n 7 extra voor één bericht; in de officiële documentatie van Qwen is 你好 op zichzelf 1 token en 11 zodra het verpakt is; DeepSeek documenteert niet of prompt_tokens zijn template meetelt. Het antwoord van het model en zijn denkproces worden als outputtokens gefactureerd.
Waar de vocabulaires vandaan komen
o200k_base en cl100k_base komen uit de vocabulairebestanden die OpenAI voor tiktoken publiceert; DeepSeek uit de tokenizer.json in de officiële repository DeepSeek-V4.1-Flash-1017 op Hugging Face (MIT); Qwen uit de officiële repository's Qwen3-8B en Qwen3.6-35B-A3B (Apache-2.0). De tool bewaart alleen wat het tokeniseren nodig heeft — de bytes van elk token en de volgorde van samenvoegen — 0,4–2,2 MB per vocabulaire, die bij het eerste gebruik van deze site worden gedownload. Bronnen en licenties staan in THIRD_PARTY_NOTICES.txt naast de bestanden.

Tips voor het schatten van tokens

Tel met het vocabulaire van het doelmodel
Wie het verbruik van DeepSeek of Qwen telt met een GPT-tokenizer, kan er bij Chinese tekst een factor twee naast zitten. Kies bij Qwen ook de juiste generatie: modellen vanaf Qwen3.5 gebruiken de rij “Qwen3.5 / 3.6 / 3.8”.
Houd ruimte voor templates en output
De telling van de platte tekst is een ondergrens. Tel voor context en kosten de templateoverhead per bericht, de systeemprompt en de verwachte outputlengte erbij op; ook het denkproces van een redeneermodel telt als output.
Kalibreer op het usage-veld van de API
Eenmaal live vertrouw je op de usage die de API teruggeeft. Tel dezelfde prompt hier en vergelijk met prompt_tokens: het verschil is je templateoverhead, die je bij toekomstige schattingen kunt optellen.
Chunk op tokens, niet op tekens
Stel chunkgroottes voor RAG en afkaplimieten in tokens in. Tekst in meerdere talen, code en getallen veranderen de verhouding tussen tekens en tokens sterk.
Verwijder onzichtbare tekens vóór het versturen
Bekijk tekst uit webpagina's of documenten in de opsplitsingsweergave. Spaties zonder breedte, harde spaties en reeksen witruimte kosten allemaal tokens voor niets. Haal bij complete webpagina's eerst tags en styling weg met HTML naar Markdown en stuur het resultaat daarna naar het model.

Veelgestelde vragen over de tokenteller

Wat is een token counter (LLM-tokenteller)?
Een tokenteller splitst tekst met de eigen tokenizer van een taalmodel in tokens en telt ze, zodat je API-kosten en contextlengte kunt inschatten. Plak hier tekst in het invoerveld (of open een tekstbestand): de tabel toont in één keer het aantal tokens voor DeepSeek, beide Qwen-generaties, GPT-5 / GPT-4o en GPT-4, “Zo wordt de tekst opgesplitst” markeert elk token, en met een prijs schat je de inputkosten. Geen account nodig.
Hoeveel tokens is één Chinees karakter? Klopt de 0,6 van DeepSeek?
Gemeten op Chinees proza van deze site gebruikt DeepSeek ongeveer 0,77–0,79 tokens per Chinees karakter, of ongeveer 0,62 per teken als leestekens en spaties als tekens meetellen. De eigen documentatie van DeepSeek noemt “1 Chinees karakter ≈ 0,6 token”, wat overeenkomt met de tweede manier van tellen. Veelvoorkomende woorden smelten samen tot één token; zeldzame karakters worden in tweeën gesplitst (bijvoorbeeld 龘). De cijfers voor de andere modellen staan hierboven in het snelle overzicht.
De API meldt een ander getal. Klopt de telling niet?
De tool telt de tekst zelf en komt ID voor ID overeen met de officiële tokenizers. De prompt_tokens van een API omvatten ook de rolmarkeringen en scheidingstekens die de chattemplate aan elk bericht toevoegt: in het gedocumenteerde voorbeeld van Qwen is 你好 op zichzelf 1 token en wordt het als 11 gefactureerd. Systeemprompts, tooldefinities en eerdere berichten tellen ook mee. Een constant verschil is je templateoverhead — gebruik het om toekomstige schattingen te kalibreren.
Welk vocabulaire gebruiken DeepSeek V4, R1, Qwen3.6 en GPT-5?
Het basisvocabulaire van DeepSeek is identiek van V3, R1, V3.1 en V3.2 tot en met V4 en V4.1; alleen de speciale tokens verschillen. Qwen heeft twee generaties: Qwen3.5, 3.6 en 3.8 gebruiken het nieuwe vocabulaire van 248K, Qwen3, Qwen2.5 en QwQ dat van 151K (dat zijn de vocabulaires van de open weights; de documentatie van Alibaba Cloud vermeldt niet welk vocabulaire de gehoste modellen in Model Studio gebruiken). Voor OpenAI geldt volgens de modeltoewijzing van tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 en o4-mini gebruiken o200k_base; GPT-4, GPT-3.5 Turbo en text-embedding-3 gebruiken cl100k_base.
Waarom heeft GPT-4 voor Chinees zoveel meer tokens nodig dan GPT-4o?
cl100k_base van GPT-4 heeft ongeveer 100.000 items, waarvan weinig Chinese, dus veel karakters kosten twee of drie tokens op byteniveau; o200k_base van GPT-4o heeft ongeveer 200.000 items en veel Chinese woorden. Het voorbeeld “Chinees” op deze pagina is 156 tokens in GPT-4 en 111 in GPT-4o.
Waarom kosten getallen in Qwen zoveel tokens?
De pre-tokenizer van Qwen zet elk cijfer in een eigen blok, dus 1234567 is 7 tokens; DeepSeek en GPT groeperen cijfers per drie en hebben er 3 nodig. Tekst met veel getallen, zoals tabellen, facturen en logs, telt in Qwen merkbaar hoger.
Wordt mijn tekst geüpload?
Hij gaat niet naar onze servers. Het tokeniseren gebeurt in een achtergrondthread in je browser; de enige bestanden die de tool downloadt, zijn de vocabulaires, van deze site, bij het eerste gebruik.
Veranderen regeleinden het aantal tokens?
Ja, het sterkst bij DeepSeek: dat splitst een Windows-regeleinde \r\n in twee tokens, waardoor dezelfde code met CRLF-regeleinden zo'n 15% meer kost, tegenover minder dan 0,5% in de andere vocabulaires. Een tekstvak in de browser zet geplakte regeleinden om in \n, dus geplakte tekst wordt met LF geteld; bestanden die je met “Bestand openen” laadt, behouden hun oorspronkelijke regeleinden en BOM.
Hoe worden markeringen als <|im_start|> of <think> geteld?
Als gewone tekst, opgesplitst in meerdere tokens — net als bij encode_ordinary van tiktoken — en de pagina meldt het als je tekst ze bevat. Host je zelf een open model, dan leest de inferentieserver elke markering meestal als één speciaal token, dus die telling valt lager uit.
Hoe worden de denktokens van een redeneermodel geteld?
Het denkproces wordt door het model gegenereerd en is dus vóór de aanroep niet te kennen; deze tool telt tekst die je al hebt. Volgens de documentatie van Qwen wordt het denkproces als outputtokens gefactureerd; raadpleeg voor andere redeneermodellen de documentatie van de betreffende aanbieder. Het denkproces is vaak langer dan het uiteindelijke antwoord, dus reserveer er apart budget voor.
Hoe lang mag de tekst zijn?
Er is geen harde limiet; het geheugen van de browser is de grens. In onze test werden 200.000 Chinese karakters in minder dan een seconde geteld zodra de vocabulaires geladen waren. Bij heel lange tekst toont de opsplitsingsweergave de eerste 2.000 tokens, terwijl de tellingen altijd de hele tekst omvatten. Geopende bestanden mogen tot 20 MB groot zijn.
Kan tiktoken tokens tellen voor DeepSeek of Qwen?
Nee. tiktoken bevat alleen de vocabulaires van OpenAI (o200k_base, cl100k_base); gebruikt voor DeepSeek of Qwen zit het er bij Chinese tekst ongeveer een factor twee naast (het voorbeeld “Chinees” op deze pagina: 156 met cl100k_base, 75 in DeepSeek). Laad voor DeepSeek en Qwen de officiële tokenizer met Hugging Face transformers en geef add_special_tokens=False mee om op dezelfde telling van platte tekst uit te komen als deze tool; de API-documentatie van DeepSeek biedt op de pagina over tokengebruik ook een offline tokenizerpakket aan.

Gerelateerde tools

Alle tools bekijken →

Case converter — UPPERCASE, lowercase, camelCase & meer

Tekstverwerking

Zet tekst direct om tussen UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE en 6 andere formaten. Gratis, alleen in de browser, geen account nodig.

Lorem Ipsum-generator — gratis opvultekst

Tekstverwerking

Genereer direct Lorem Ipsum-opvultekst — per alinea, zin, woord, byte of lijst. Kopieer of download als platte tekst, HTML, Markdown of JSON. 100% gratis, privé, in de browser. Geen registratie.

Gratis regex-tester — patronen testen & debuggen online

Tekstverwerking

Test reguliere expressies direct tegen elke tekst. Live highlighting van overeenkomsten, vastlegroepen, voorvertoning van vervangingen, splitsen en patroonuitleg. JavaScript-flavor regex, 100% privé, gratis, geen account.

Dubbele regels uit tekst verwijderen

Tekstverwerking

Verwijder dubbele regels uit tekst online — gratis, direct, 100% in je browser. Negeer hoofdletters of witruimte, houd het eerste of laatste voorkomen, en zie hoeveel duplicaten er zijn verwijderd. Ook sorteren. Geen account.

URL-slug-generator — slugify elke tekst

Tekstverwerking

Slugify elke titel direct tot een schone, SEO-vriendelijke URL-slug. Translitereer accenten en Cyrillisch, of behoud Unicode-letters. 100% privé, in je browser.

Tekstregels alfabetisch & natuurlijk sorteren

Tekstverwerking

Sorteer tekstregels alfabetisch, numeriek (natuurlijke volgorde) of op lengte — oplopend of aflopend. Gratis online regelsorteerder, 100% in je browser. Ook dedupliceren, omkeren en lijsten opschonen. Geen account.