Was ist ein Token-Zähler (LLM-Token-Zähler)?
Ein Token-Zähler zerlegt Text mit dem eigenen Tokenizer eines Sprachmodells in Tokens und zählt sie, damit Sie API-Kosten und Kontextlänge abschätzen können. Hier fügen Sie Text in das Feld ein (oder öffnen eine Textdatei): Die Tabelle zeigt die Token-Zahl für DeepSeek, beide Qwen-Generationen, GPT-5 / GPT-4o und GPT-4 auf einen Blick, „So wird der Text zerlegt“ markiert jedes Token, und mit einem Preis schätzen Sie die Input-Kosten. Keine Anmeldung nötig.
Wie viele Tokens ist ein chinesisches Zeichen? Stimmt DeepSeeks Angabe von 0,6?
Gemessen an chinesischer Prosa dieser Website braucht DeepSeek etwa 0,77–0,79 Tokens pro chinesischem Zeichen bzw. etwa 0,62 pro Zeichen, wenn Satzzeichen und Leerzeichen als Zeichen zählen. DeepSeeks eigene Dokumentation nennt „1 chinesisches Zeichen ≈ 0,6 Token“, was der zweiten Zählweise entspricht. Häufige Wörter verschmelzen zu einem Token; seltene Zeichen werden in zwei zerlegt (zum Beispiel 龘). Die Werte für die anderen Modelle stehen oben in der Kurzübersicht.
Die API meldet eine andere Zahl. Ist die Zählung falsch?
Das Tool zählt den Text selbst und stimmt ID für ID mit den offiziellen Tokenizern überein. Der Wert prompt_tokens einer API enthält zusätzlich die Rollenmarker und Trennzeichen, die das Chat-Template jeder Nachricht hinzufügt: Im dokumentierten Beispiel von Qwen ist 你好 allein 1 Token und wird mit 11 abgerechnet. System-Prompts, Tool-Definitionen und frühere Nachrichten zählen ebenfalls. Eine konstante Differenz ist Ihr Template-Overhead — nutzen Sie sie, um künftige Schätzungen zu kalibrieren.
Welches Vokabular nutzen DeepSeek V4, R1, Qwen3.6 und GPT-5?
Das Basisvokabular von DeepSeek ist von V3, R1, V3.1 und V3.2 bis V4 und V4.1 identisch; nur die Spezial-Tokens unterscheiden sich. Qwen hat zwei Generationen: Qwen3.5, 3.6 und 3.8 nutzen das neue 248K-Vokabular, Qwen3, Qwen2.5 und QwQ das 151K-Vokabular (das sind die Vokabulare der Open Weights; die Dokumentation von Alibaba Cloud sagt nicht, welches davon die gehosteten Modelle in Model Studio verwenden). Bei OpenAI gilt laut der Modellzuordnung von tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 und o4-mini verwenden o200k_base; GPT-4, GPT-3.5 Turbo und text-embedding-3 verwenden cl100k_base.
Warum braucht GPT-4 für Chinesisch so viel mehr Tokens als GPT-4o?
Das cl100k_base von GPT-4 hat etwa 100.000 Einträge mit wenigen chinesischen darunter, sodass viele Zeichen zwei oder drei Byte-Tokens belegen; das o200k_base von GPT-4o hat etwa 200.000 Einträge und viele chinesische Wörter. Das Beispiel „Chinesisch“ auf dieser Seite ergibt 156 Tokens in GPT-4 und 111 in GPT-4o.
Warum kosten Zahlen in Qwen so viele Tokens?
Der Pre-Tokenizer von Qwen setzt jede Ziffer in einen eigenen Abschnitt, sodass 1234567 aus 7 Tokens besteht; DeepSeek und GPT fassen Ziffern zu Dreiergruppen zusammen und brauchen 3. Zahlenlastiger Text wie Tabellen, Rechnungen und Logs zählt in Qwen spürbar höher.
Wird mein Text hochgeladen?
Er wird nicht an unsere Server gesendet. Die Tokenisierung läuft in einem Hintergrund-Thread in Ihrem Browser; das Tool lädt nur die Vokabulare herunter, beim ersten Einsatz und von dieser Website.
Ändern Zeilenumbrüche die Token-Zahl?
Ja, am stärksten bei DeepSeek: Es zerlegt einen Windows-Zeilenumbruch \r\n in zwei Tokens, sodass derselbe Code mit CRLF-Zeilenenden rund 15 % mehr kostet, gegenüber unter 0,5 % in den anderen Vokabularen. Ein Textfeld im Browser wandelt eingefügte Zeilenumbrüche in \n um, daher wird eingefügter Text mit LF gezählt; über „Datei öffnen“ geladene Dateien behalten ihre ursprünglichen Zeilenumbrüche und ihr BOM.
Wie werden Marker wie <|im_start|> oder <think> gezählt?
Als normaler Text, zerlegt in mehrere Tokens — genau wie bei encode_ordinary von tiktoken —, und die Seite weist Sie darauf hin, wenn Ihr Text solche Marker enthält. Wenn Sie ein offenes Modell selbst hosten, liest der Inferenzserver jeden davon meist als ein einziges Spezial-Token, sodass seine Zählung niedriger ausfällt.
Wie werden die Thinking-Tokens eines Reasoning-Modells gezählt?
Der Denkprozess wird vom Modell erzeugt und lässt sich daher vor dem Aufruf nicht kennen; dieses Tool zählt Text, den Sie bereits haben. Laut Qwen-Dokumentation wird der Denkprozess als Output-Tokens abgerechnet; für andere Reasoning-Modelle prüfen Sie die Dokumentation des jeweiligen Anbieters. Der Denkprozess ist oft länger als die eigentliche Antwort, planen Sie ihn also separat ein.
Wie lang darf der Text sein?
Es gibt keine feste Grenze; das Limit setzt der Speicher des Browsers. In unserem Test wurden 200.000 chinesische Zeichen in unter einer Sekunde gezählt, sobald die Vokabulare geladen waren. Bei sehr langem Text zeigt die Zerlegungsansicht die ersten 2.000 Tokens, die Zählung umfasst aber immer alles. Geöffnete Dateien dürfen bis zu 20 MB groß sein.
Kann tiktoken Tokens für DeepSeek oder Qwen zählen?
Nein. tiktoken liefert nur die Vokabulare von OpenAI (o200k_base, cl100k_base); für DeepSeek oder Qwen eingesetzt, liegt es bei chinesischem Text etwa um den Faktor zwei daneben (das Beispiel „Chinesisch“ auf dieser Seite: 156 mit cl100k_base, 75 in DeepSeek). Für DeepSeek und Qwen laden Sie den offiziellen Tokenizer mit Hugging Face transformers und übergeben add_special_tokens=False, um auf die Zählung des reinen Texts wie in diesem Tool zu kommen; die API-Dokumentation von DeepSeek bietet auf ihrer Seite zur Token-Nutzung außerdem ein Offline-Tokenizer-Paket an.