Skip to content

Token-Zähler für DeepSeek, Qwen und GPT

Exakte Token-Zahlen für DeepSeek, Qwen und GPT mit dem Tokenizer jedes Anbieters statt einer Schätzung nach Zeichen. Text einfügen, fünf Vokabulare vergleichen und sehen, wo jedes Token beginnt. Kostenlos, läuft im Browser.

Läuft im Browser Kostenlos
Tokenisiert in Ihrem Browser mit dem Vokabular des jeweiligen Anbieters — Ihr Text wird nicht an unsere Server gesendet.
Beispiele:

Zeichen
0
Chinesische Zeichen
0
UTF-8-Bytes
0
Modell Tokens Tokens pro Zeichen
DeepSeek V4 / V3 / R1 DeepSeek · 128K —
Qwen3.5 / 3.6 / 3.8 Qwen · 248K —
Qwen3 / Qwen2.5 / QwQ Qwen · 151K —
GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base —
GPT-4 / GPT-3.5 Turbo cl100k_base —

Das sind die Tokens des Texts selbst. Ein API-Aufruf zählt zusätzlich das Chat-Template um jede Nachricht, daher liegt der gemeldete Wert prompt_tokens meist etwas höher.

So wird der Text zerlegt

Text eingeben oder einfügen, um jedes Token zu sehen.

Geben Sie den Input-Preis von der Preisseite Ihres Anbieters ein. Preise ändern sich, deshalb sind sie im Tool nicht fest hinterlegt.

Die Ausgabe aller fünf Vokabulare wurde auf 26.714 Testtexten (3,88 Millionen Zeichen) sowie einem Satz von Zeichen an Unicode-Versionsgrenzen ID für ID mit Hugging Face tokenizers 0.23.3 und OpenAI tiktoken 0.14.0 verglichen und stimmte überein; jede Beispielzahl auf dieser Seite wurde gegen dieselben Referenzimplementierungen geprüft. Die Verhältnisse pro Zeichen stammen aus Messungen an den eigenen Texten dieser Website (29.500 chinesische Zeichen Blogprosa und 52.500 aus der Tool-Dokumentation). Die Zuordnung von Modellen zu Vokabularen stammt aus der Modellzuordnung von tiktoken und einem Vergleich der offiziellen Repositorys der Anbieter Datei für Datei, geprüft im November 2026. — Entwicklungsteam von Go Tools · 8. Nov. 2026

Vom Entwicklungsteam von Go Tools gebaut und verifiziert.

Token-Umrechnung: Kurzübersicht

Wie viele Zeichen sind ein Token?

Etwa 4 Zeichen Englisch pro Token Das hängt vom Vokabular und von der Sprache ab. Gemessen an den eigenen Texten dieser Website (rund 82.000 chinesische Zeichen): Englisch liegt bei etwa 4,3–4,4 Zeichen pro Token bzw. etwa 1,4 Tokens pro Wort; in chinesischer Prosa kostet ein chinesisches Zeichen etwa 0,8 Tokens in DeepSeek und Qwen3.5, 0,9 in Qwen3, 1,0 in GPT-4o und 1,3 in GPT-4.

Wie viele Tokens sind 10.000 chinesische Zeichen?

Etwa 6.300 in DeepSeek, 10.000 in GPT-4 Satzzeichen als Zeichen mitgezählt, gemessen an chinesischer Prosa dieser Website: etwa 6.200–6.300 in DeepSeek, 6.400–6.500 in Qwen3.5, 7.000–7.200 in Qwen3, 7.700 in GPT-4o und 10.300–10.500 in GPT-4. Code und zahlenlastiger Text brauchen mehr.

Warum braucht Chinesisch mehr Tokens als Englisch?

Derselbe Absatz: 59–60 Tokens auf Englisch, 71–156 auf Chinesisch Die Beispiele „Chinesisch“ und „Englisch“ auf dieser Seite sind derselbe Absatz. Die englische Fassung ergibt in allen fünf Vokabularen 59–60 Tokens, die chinesische 71 in Qwen3.5, 75 in DeepSeek, 84 in Qwen3, 111 in GPT-4o und 156 in GPT-4 — 18 % bis 160 % mehr. Englisch schwankt zwischen den Vokabularen kaum (etwa 1,4 Tokens pro Wort auf den Texten dieser Website); bei Chinesisch hängt es davon ab, wie viele chinesische Einträge das Vokabular hat, und eines mit wenigen (das cl100k_base von GPT-4) zerlegt viele Zeichen in 2–3 Byte-Tokens.

Was für eine Einheit ist ein Token?

Die kleinste Einheit, in der ein Modell Text zerlegt und abrechnet Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, und die Einheit für API-Abrechnung und Kontextfenster. Es kann ein Wort sein, ein Wortteil, ein Zeichen, eine Wendung oder ein paar Bytes eines Zeichens — das entscheidet das Vokabular des jeweiligen Modells.

Kann das Tool Tokens für Claude, Gemini oder Doubao zählen?

Kein öffentlicher Tokenizer — nur offizielle Zähl-APIs Nicht exakt. Für Claude gibt es seit Claude 3 keinen öffentlichen Tokenizer; Anthropic bietet stattdessen eine count_tokens-API an (laut Dokumentation verwenden Claude 4.7 und neuer einen neueren Tokenizer, der für denselben Text etwa 30 % mehr Tokens erzeugt). Auch Gemini und Doubao werden über ihre offiziellen APIs gezählt, und für Doubao gibt es zudem einen offiziellen Token-Rechner in der Konsole von Volcano Engine Ark (Anmeldung erforderlich). Dieses Tool listet nur Modelle, deren offizielles Vokabular öffentlich ist und ID für ID übereinstimmt.

Was ist ein Token?

Ein Token ist die Einheit, in der ein Sprachmodell liest und schreibt — und die Einheit, nach der APIs abrechnen und Kontextfenster bemessen werden. Ein Modell sieht nie direkt Buchstaben oder chinesische Zeichen: Sein Tokenizer zerlegt den Text zuerst in Stücke aus seinem Vokabular und wandelt jedes Stück in eine ganzzahlige ID um. Häufige Wörter und Wendungen haben eigene Einträge und belegen ein Token; alles, was fehlt, fällt auf UTF-8-Bytes zurück, sodass ein einzelnes chinesisches Zeichen zwei oder drei Tokens kosten kann. Die Zahl hängt also vom Vokabular ab. DeepSeek und Qwen speichern 人工智能 (künstliche Intelligenz) als ein einziges Token, GPT-4o zerlegt es in zwei, während das cl100k_base von GPT-4 nur wenige chinesische Einträge hat und für den Satz unten 12 Tokens braucht — mehr als doppelt so viele wie die 5 von DeepSeek. Unten sehen Sie die tatsächliche Zerlegung durch dieses Tool.

文本:人工智能正在改变世界。(11 个字符)

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

Was dieser Token-Zähler leistet

Beide Qwen-Vokabulare, exakt gezählt

Qwen3.5, 3.6 und 3.8 sind auf ein neues 248K-Vokabular mit anderen Zerlegungsregeln umgestiegen; Qwen3, Qwen2.5 und QwQ behalten das 151K-Vokabular. Beide stammen aus der tokenizer.json der offiziellen Open Weights und werden getrennt gezählt — nie mit einem GPT-Tokenizer angenähert.

Offizielle Vokabulare, ID für ID geprüft

DeepSeek nutzt sein offizielles Vokabular (von V3 bis V4.1 identisch), GPT die Vokabulare o200k_base und cl100k_base von OpenAI. Wir haben 26.714 Testtexte (3,88 Millionen Zeichen aus 15 Sprachen, Code, Leerraum und Zeichen an Unicode-Versionsgrenzen) ID für ID mit Hugging Face tokenizers und OpenAI tiktoken verglichen: Alle fünf Vokabulare stimmen überein.

Fünf Modelle nebeneinander

Einmal einfügen, fünf Werte: So sehen Sie sofort, welches Modell Ihren Text mit den wenigsten Tokens abbildet. Die Spalte „Tokens pro Zeichen“ macht Texte unterschiedlicher Länge fair vergleichbar.

Jedes Token sichtbar

Die Zerlegungsansicht färbt jedes Token ein und kann seine ID anzeigen. Ergeben mehrere Byte-Tokens erst zusammen ganze Zeichen, landen sie in einem gestrichelten Block, statt als Bytesalat zu erscheinen; unsichtbare Zeichen wie breitenlose Leerzeichen werden als Codepunkt ausgeschrieben, z. B. ⟨U+200B⟩.

Dateien so gezählt, wie sie sind

Geöffnete Dateien behalten ihre ursprünglichen CRLF-Zeilenumbrüche und ihr BOM. DeepSeek zerlegt einen Windows-Zeilenumbruch \r\n in zwei Tokens, sodass derselbe Code mit CRLF-Zeilenenden rund 15 % mehr kostet. In das Feld eingefügter Text wird mit den LF-Zeilenumbrüchen gezählt, die der Browser beibehält.

Läuft in Ihrem Browser

Die Tokenisierung läuft in einem Hintergrund-Thread (Web Worker); Ihr Text wird nicht an unsere Server gesendet. Sind die Vokabulare geladen, werden 200.000 chinesische Zeichen in unter einer Sekunde gezählt, und das Textfeld reagiert weiter flüssig.

Tokens im Code zählen

tiktoken (Python)

len(tiktoken.get_encoding("o200k_base").encode_ordinary(text))

Die offizielle Bibliothek von OpenAI, nur mit OpenAI-Vokabularen. Der direkteste Weg, Input-Tokens für GPT-5 und GPT-4o zu zählen; DeepSeek oder Qwen kann sie nicht zählen.

transformers AutoTokenizer

AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False)

Lädt die offiziellen Tokenizer offener Modelle wie DeepSeek und Qwen. Beim ersten Lauf werden die Vokabulardateien von Hugging Face heruntergeladen.

Offline-Tokenizer von DeepSeek

API-Dokumentation von DeepSeek, Seite zur Token-Nutzung

Der offizielle Offline-Tokenizer, zusammen mit transformers genutzt. Sein Vokabular ist dasselbe wie in der DeepSeek-Zeile dieses Tools.

Offizielle Zähl-APIs

Anthropic messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens

Der einzige Weg für Modelle ohne öffentlichen Tokenizer, und das Ergebnis enthält den Overhead des Chat-Formats. Nötig sind ein Request und ein API-Schlüssel, und der Text geht an den Anbieter.

Dieser Token-Zähler

Einfügen und fünf Werte ablesen

Kein Code, keine Abhängigkeiten — praktisch, um einen einzelnen Prompt zu prüfen oder Modelle zu vergleichen. Für Batch-Jobs nehmen Sie die Bibliotheken oben.

Beispiele: ein Text, fünf Zerlegungen

Ein chinesischer Absatz, in einem Modell doppelt so viele Tokens

Klicken Sie auf dieser Seite auf das Beispiel „Chinesisch“: ein Alltagstext mit 117 Zeichen (106 chinesische Zeichen)
DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

Pro chinesischem Zeichen: Qwen3.5 etwa 0,67, DeepSeek 0,71, Qwen3 0,79, GPT-4o 1,05 und GPT-4 1,47 Tokens. Mit „Englisch“ erhalten Sie denselben Absatz auf Englisch: Alle fünf liegen zwischen 59 und 60.

Zahlen: Qwen braucht ein Token pro Ziffer

订单金额 12345.67 元,共 2026 件
DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   (Ziffern genauso zerlegt)
GPT-4o        13   …[123][45][.][67][ 元][,共]…
GPT-4         16   …[123][45][.][67]…

Beide Qwen-Generationen zerlegen jede Ziffer einzeln, DeepSeek und GPT fassen Ziffern zu Dreiergruppen zusammen. Zahlenlastiger Text — Tabellen, Rechnungen, Logs — kostet in Qwen spürbar mehr.

Unsichtbare breitenlose Leerzeichen

你​好​世​界 (drei breitenlose Leerzeichen U+200B zwischen den Zeichen)
Ohne sie:  DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
Mit ihnen: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

Die breitenlosen Leerzeichen trennen 你好 und 世界, sodass jedes Zeichen zu einem eigenen Token wird und jedes breitenlose Leerzeichen ein weiteres belegt. Aus dem Web kopierter Text enthält sie oft; die Zerlegungsansicht zeigt sie als ⟨U+200B⟩.

Emoji: Das neuere Vokabular kostet mehr

👍🎉
DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

Das ältere Vokabular von Qwen3 speichert beide Emoji als Ganzes; das neue 248K-Vokabular fällt auf UTF-8-Bytes zurück, sodass ein 4-Byte-Emoji 3 Tokens belegt. Ein neueres Vokabular ist nicht überall günstiger — zählen Sie Ihren echten Text.

So nutzen Sie den Token-Zähler

  1. 1

    Text einfügen

    Fügen Sie einen Prompt, ein Dokument oder etwas Code ein, oder laden Sie über „Datei öffnen“ eine .txt-, .md-, .json-, .csv- oder andere Textdatei. Gerade keinen Text zur Hand? Klicken Sie auf eines der Beispiele. Beim ersten Zählen werden fünf Vokabulare von dieser Website geladen (je 0,4–2,2 MB, gzip-komprimiert); solange die Seite geöffnet bleibt, werden sie nicht erneut heruntergeladen.

  2. 2

    Die fünf Werte ablesen

    Die Tabelle zeigt die Token-Zahl für DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o und GPT-4/GPT-3.5 auf einen Blick, dazu die durchschnittlichen Tokens pro Zeichen. Darüber stehen Zeichen, chinesische Zeichen und UTF-8-Bytes — zum Vergleich mit Schätzungen, die von der Zeichenzahl ausgehen.

  3. 3

    Die Zerlegung prüfen

    Jeder farbige Block unter „So wird der Text zerlegt“ ist ein Token. Ein gestrichelter Rahmen bedeutet, dass mehrere Byte-Tokens erst zusammen ganze Zeichen ergeben. Schalten Sie „Token-IDs anzeigen“ ein, um mit den IDs zu vergleichen, die eine API oder tiktoken liefert. Ein Klick auf eine Tabellenzeile wechselt das Modell.

  4. 4

    Kosten schätzen

    Geben Sie den Input-Preis des ausgewählten Modells pro Million Tokens ein, um die Kosten dieses Texts als Input zu erhalten. Das Tool enthält keine Preisliste — Anbieter ändern ihre Preise oft und staffeln sie nach Spitzenzeiten und Cache-Treffern; nehmen Sie also den Wert, der heute auf deren Preisseite steht.

Häufige Fehler beim Zählen von Tokens

Tokens als Zeichen × Konstante schätzen

Eine Konstante gilt nur für eine Art von Text. Dieselben 24 Zeichen 订单金额 12345.67 元,共 2026 件 sind in GPT-4o 13 Tokens und in Qwen 22 — je mehr Ziffern, desto größer der Abstand.

✗ Falsch
Tokens ≈ Zeichen × 0.6
✓ Richtig
Mit dem Vokabular des Zielmodells zerlegen und zählen

Einen GPT-Tokenizer für DeepSeek oder Qwen verwenden

tiktoken liefert nur Vokabulare von OpenAI. Das Beispiel „Chinesisch“ auf dieser Seite ergibt mit cl100k_base 156 Tokens, während DeepSeek 75 braucht — eine doppelt zu hohe Schätzung.

✗ Falsch
tiktoken.get_encoding("cl100k_base")  # für DeepSeek verwendet
✓ Richtig
AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

Die Textzählung für die Rechnung halten

Die Rechnung umfasst auch das Chat-Template, den System-Prompt, den Output und den Denkprozess eines Reasoning-Modells; manche Dienste berechnen Cache-Treffer zudem anders. Eine Schätzung allein aus dem Input-Text fällt zu niedrig aus.

✗ Falsch
Kosten = Prompt-Tokens × Input-Preis
✓ Richtig
Kosten = prompt_tokens × Input-Preis + completion_tokens × Output-Preis

Unsichtbare Zeichen im Text

Breitenlose Leerzeichen (U+200B) trennen Wörter: 你好世界 ist in DeepSeek 2 Tokens und 7, sobald drei breitenlose Leerzeichen zwischen den Zeichen stehen.

✗ Falsch
你\u200b好\u200b世\u200b界   → 7 Tokens
✓ Richtig
你好世界   → 2 Tokens

Wann Sie Tokens zählen sollten

API-Kosten schätzen
Fügen Sie vor dem Launch einen typischen Prompt, System-Prompt und abgerufenen Kontext ein, um die Tokens des Texts selbst zu erhalten; zusammen mit dem Template-Overhead pro Nachricht (siehe „Tokens des reinen Texts vs. Zählung der API“) ergibt das den Input jedes Aufrufs, und multipliziert mit Preis und Aufrufvolumen eine Monatsschätzung.
Im Kontextfenster bleiben
Lange Dokumente, Chatverläufe und Retrieval-Ergebnisse summieren sich schnell. Zählen Sie zuerst jeden Teil und entscheiden Sie dann, was gekürzt oder zusammengefasst wird.
Modelle an Ihrer Sprache vergleichen
Derselbe chinesische Absatz kann in einem Vokabular doppelt so viele Tokens kosten wie in einem anderen. Vergleichen Sie die Kosten als Preis × Tokens Ihres Texts im jeweiligen Modell, nicht allein über den Preis.
RAG-Chunks in Tokens bemessen
Chunk-Größen für das Retrieval werden meist in Tokens festgelegt. Prüfen Sie, wie viele Tokens ein echter Abschnitt im Zielmodell belegt, bevor Sie eine feste Zeichenlänge pro Chunk wählen.
Herausfinden, warum ein Prompt teuer ist
Aus Webseiten, Word oder PDFs kopierter Text enthält oft breitenlose Leerzeichen, geschützte Leerzeichen und Folgen von Leerraum, die Tokens kosten, ohne sichtbar zu sein. Die Zerlegungsansicht markiert sie. Um jedes davon mit Namen und Codepunkt zu finden, nutzen Sie „Unsichtbare Zeichen anzeigen“ im Unicode-Konverter.

Wie Text in Tokens zerlegt wird

BPE: von Bytes aufwärts zusammenführen
Alle fünf Vokabulare sind Byte-Level-BPE (Byte Pair Encoding). Der Text wird in UTF-8-Bytes umgewandelt, dann werden benachbarte Stücke in fester Reihenfolge zu längeren Vokabulareinträgen zusammengeführt, bis sich nichts mehr zusammenführen lässt. Die Reihenfolge stammt aus Trainingsstatistiken, daher endet derselbe Text in jedem Vokabular bei einer anderen Zerlegung.
Warum ein Zeichen 2–3 Tokens sein kann
Ein häufiges chinesisches Zeichen belegt in UTF-8 3 Bytes. Enthält das Vokabular das Zeichen (oder ein Wort, das es enthält), ist es ein Token; sonst bleibt es in Byte-Stücken — zwei oder drei Tokens. Das cl100k_base von GPT-4 ist am wenigsten auf Chinesisch ausgelegt: Von den 3.755 häufigsten Zeichen, einzeln kodiert, sind nur 14,1 % ein einziges Token, gegenüber 95,7 % bei DeepSeek und 99,9 % bei Qwen3.
Pre-Tokenisierung: erst teilen, dann zusammenführen
Vor dem BPE zerschneidet ein regulärer Ausdruck den Text in Abschnitte, und Zusammenführungen überschreiten nie eine Abschnittsgrenze. Die Regeln unterscheiden sich: GPT-4o und GPT-4 fassen Ziffern zu Dreiergruppen zusammen, Qwen setzt jede Ziffer in einen eigenen Abschnitt, und DeepSeek isoliert zuerst Folgen chinesischer Zeichen und Kana (nur bis U+9FA5; spätere Zeichen folgen der allgemeinen Regel). Dieses Tool bildet jede Regel nach und legt die Zeichenklassen auf Unicode 16 fest — die Version, die die Referenzimplementierungen verwenden —, damit die Ergebnisse nicht mit der Unicode-Version Ihres Browsers schwanken.
Tokens des reinen Texts vs. Zählung der API
Die Werte gelten für den Text selbst: kein Token für den Sequenzanfang und kein Chat-Template. APIs packen jede Nachricht in ein Template: Die Zählfunktion aus dem OpenAI Cookbook rechnet pro Nachricht 3 Tokens, den Rollennamen und 3 Tokens zur Einleitung der Antwort hinzu — bei einer Nachricht etwa 7 zusätzlich; in der offiziellen Qwen-Dokumentation ist 你好 allein 1 Token und mit Template 11; DeepSeek dokumentiert nicht, ob prompt_tokens sein Template einschließt. Die Antwort des Modells und sein Denkprozess werden als Output-Tokens abgerechnet.
Woher die Vokabulare stammen
o200k_base und cl100k_base stammen aus den Vokabulardateien, die OpenAI für tiktoken veröffentlicht; DeepSeek aus der tokenizer.json im offiziellen Repository DeepSeek-V4.1-Flash-1017 auf Hugging Face (MIT); Qwen aus den offiziellen Repositorys Qwen3-8B und Qwen3.6-35B-A3B (Apache-2.0). Das Tool behält nur, was die Tokenisierung braucht — die Bytes jedes Tokens und die Reihenfolge der Zusammenführungen —, mit 0,4–2,2 MB pro Vokabular, die beim ersten Einsatz von dieser Website geladen werden. Quellen und Lizenzen stehen in THIRD_PARTY_NOTICES.txt neben den Dateien.

Tipps zur Token-Schätzung

Mit dem Vokabular des Zielmodells zählen
Wer den Verbrauch von DeepSeek oder Qwen mit einem GPT-Tokenizer zählt, kann bei chinesischem Text um den Faktor zwei danebenliegen. Bei Qwen zudem die richtige Generation wählen: Modelle ab Qwen3.5 nutzen die Zeile „Qwen3.5 / 3.6 / 3.8“.
Platz für Templates und Output lassen
Die Zahl für den reinen Text ist eine Untergrenze. Für Kontext und Kosten kommen der Template-Overhead pro Nachricht, der System-Prompt und die erwartete Output-Länge hinzu; auch der Denkprozess eines Reasoning-Modells zählt als Output.
Am usage-Feld der API kalibrieren
Im Live-Betrieb gilt der usage-Wert, den die API zurückgibt. Zählen Sie denselben Prompt hier und vergleichen Sie mit prompt_tokens: Die Differenz ist Ihr Template-Overhead, den Sie künftigen Schätzungen hinzurechnen können.
Nach Tokens chunken, nicht nach Zeichen
Legen Sie Chunk-Größen für RAG und Kürzungsgrenzen in Tokens fest. Gemischtsprachiger Text, Code und Zahlen verschieben das Verhältnis von Zeichen zu Tokens stark.
Unsichtbare Zeichen vor dem Senden entfernen
Prüfen Sie aus Webseiten oder Dokumenten kopierten Text in der Zerlegungsansicht. Breitenlose Leerzeichen, geschützte Leerzeichen und Folgen von Leerraum verbrauchen allesamt Tokens für nichts. Bei ganzen Webseiten entfernen Sie Tags und Styles zuerst mit HTML zu Markdown und schicken dann das Ergebnis an das Modell.

FAQ zum Token-Zähler

Was ist ein Token-Zähler (LLM-Token-Zähler)?
Ein Token-Zähler zerlegt Text mit dem eigenen Tokenizer eines Sprachmodells in Tokens und zählt sie, damit Sie API-Kosten und Kontextlänge abschätzen können. Hier fügen Sie Text in das Feld ein (oder öffnen eine Textdatei): Die Tabelle zeigt die Token-Zahl für DeepSeek, beide Qwen-Generationen, GPT-5 / GPT-4o und GPT-4 auf einen Blick, „So wird der Text zerlegt“ markiert jedes Token, und mit einem Preis schätzen Sie die Input-Kosten. Keine Anmeldung nötig.
Wie viele Tokens ist ein chinesisches Zeichen? Stimmt DeepSeeks Angabe von 0,6?
Gemessen an chinesischer Prosa dieser Website braucht DeepSeek etwa 0,77–0,79 Tokens pro chinesischem Zeichen bzw. etwa 0,62 pro Zeichen, wenn Satzzeichen und Leerzeichen als Zeichen zählen. DeepSeeks eigene Dokumentation nennt „1 chinesisches Zeichen ≈ 0,6 Token“, was der zweiten Zählweise entspricht. Häufige Wörter verschmelzen zu einem Token; seltene Zeichen werden in zwei zerlegt (zum Beispiel 龘). Die Werte für die anderen Modelle stehen oben in der Kurzübersicht.
Die API meldet eine andere Zahl. Ist die Zählung falsch?
Das Tool zählt den Text selbst und stimmt ID für ID mit den offiziellen Tokenizern überein. Der Wert prompt_tokens einer API enthält zusätzlich die Rollenmarker und Trennzeichen, die das Chat-Template jeder Nachricht hinzufügt: Im dokumentierten Beispiel von Qwen ist 你好 allein 1 Token und wird mit 11 abgerechnet. System-Prompts, Tool-Definitionen und frühere Nachrichten zählen ebenfalls. Eine konstante Differenz ist Ihr Template-Overhead — nutzen Sie sie, um künftige Schätzungen zu kalibrieren.
Welches Vokabular nutzen DeepSeek V4, R1, Qwen3.6 und GPT-5?
Das Basisvokabular von DeepSeek ist von V3, R1, V3.1 und V3.2 bis V4 und V4.1 identisch; nur die Spezial-Tokens unterscheiden sich. Qwen hat zwei Generationen: Qwen3.5, 3.6 und 3.8 nutzen das neue 248K-Vokabular, Qwen3, Qwen2.5 und QwQ das 151K-Vokabular (das sind die Vokabulare der Open Weights; die Dokumentation von Alibaba Cloud sagt nicht, welches davon die gehosteten Modelle in Model Studio verwenden). Bei OpenAI gilt laut der Modellzuordnung von tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 und o4-mini verwenden o200k_base; GPT-4, GPT-3.5 Turbo und text-embedding-3 verwenden cl100k_base.
Warum braucht GPT-4 für Chinesisch so viel mehr Tokens als GPT-4o?
Das cl100k_base von GPT-4 hat etwa 100.000 Einträge mit wenigen chinesischen darunter, sodass viele Zeichen zwei oder drei Byte-Tokens belegen; das o200k_base von GPT-4o hat etwa 200.000 Einträge und viele chinesische Wörter. Das Beispiel „Chinesisch“ auf dieser Seite ergibt 156 Tokens in GPT-4 und 111 in GPT-4o.
Warum kosten Zahlen in Qwen so viele Tokens?
Der Pre-Tokenizer von Qwen setzt jede Ziffer in einen eigenen Abschnitt, sodass 1234567 aus 7 Tokens besteht; DeepSeek und GPT fassen Ziffern zu Dreiergruppen zusammen und brauchen 3. Zahlenlastiger Text wie Tabellen, Rechnungen und Logs zählt in Qwen spürbar höher.
Wird mein Text hochgeladen?
Er wird nicht an unsere Server gesendet. Die Tokenisierung läuft in einem Hintergrund-Thread in Ihrem Browser; das Tool lädt nur die Vokabulare herunter, beim ersten Einsatz und von dieser Website.
Ändern Zeilenumbrüche die Token-Zahl?
Ja, am stärksten bei DeepSeek: Es zerlegt einen Windows-Zeilenumbruch \r\n in zwei Tokens, sodass derselbe Code mit CRLF-Zeilenenden rund 15 % mehr kostet, gegenüber unter 0,5 % in den anderen Vokabularen. Ein Textfeld im Browser wandelt eingefügte Zeilenumbrüche in \n um, daher wird eingefügter Text mit LF gezählt; über „Datei öffnen“ geladene Dateien behalten ihre ursprünglichen Zeilenumbrüche und ihr BOM.
Wie werden Marker wie <|im_start|> oder <think> gezählt?
Als normaler Text, zerlegt in mehrere Tokens — genau wie bei encode_ordinary von tiktoken —, und die Seite weist Sie darauf hin, wenn Ihr Text solche Marker enthält. Wenn Sie ein offenes Modell selbst hosten, liest der Inferenzserver jeden davon meist als ein einziges Spezial-Token, sodass seine Zählung niedriger ausfällt.
Wie werden die Thinking-Tokens eines Reasoning-Modells gezählt?
Der Denkprozess wird vom Modell erzeugt und lässt sich daher vor dem Aufruf nicht kennen; dieses Tool zählt Text, den Sie bereits haben. Laut Qwen-Dokumentation wird der Denkprozess als Output-Tokens abgerechnet; für andere Reasoning-Modelle prüfen Sie die Dokumentation des jeweiligen Anbieters. Der Denkprozess ist oft länger als die eigentliche Antwort, planen Sie ihn also separat ein.
Wie lang darf der Text sein?
Es gibt keine feste Grenze; das Limit setzt der Speicher des Browsers. In unserem Test wurden 200.000 chinesische Zeichen in unter einer Sekunde gezählt, sobald die Vokabulare geladen waren. Bei sehr langem Text zeigt die Zerlegungsansicht die ersten 2.000 Tokens, die Zählung umfasst aber immer alles. Geöffnete Dateien dürfen bis zu 20 MB groß sein.
Kann tiktoken Tokens für DeepSeek oder Qwen zählen?
Nein. tiktoken liefert nur die Vokabulare von OpenAI (o200k_base, cl100k_base); für DeepSeek oder Qwen eingesetzt, liegt es bei chinesischem Text etwa um den Faktor zwei daneben (das Beispiel „Chinesisch“ auf dieser Seite: 156 mit cl100k_base, 75 in DeepSeek). Für DeepSeek und Qwen laden Sie den offiziellen Tokenizer mit Hugging Face transformers und übergeben add_special_tokens=False, um auf die Zählung des reinen Texts wie in diesem Tool zu kommen; die API-Dokumentation von DeepSeek bietet auf ihrer Seite zur Token-Nutzung außerdem ein Offline-Tokenizer-Paket an.

Verwandte Werkzeuge

Alle Werkzeuge anzeigen →

Case-Konverter — UPPERCASE, lowercase, camelCase & mehr

Textverarbeitung

Konvertieren Sie Text sofort zwischen UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE und 6 weiteren Formaten. Kostenlos, nur im Browser, ohne Anmeldung.

Lorem-Ipsum-Generator — Blindtext erstellen

Textverarbeitung

Lorem-Ipsum-Blindtext sofort generieren — nach Absatz, Satz, Wort, Byte oder Liste. Kopieren oder als Text, HTML, Markdown oder JSON herunterladen. 100 % kostenlos, privat, im Browser. Ohne Anmeldung.

Kostenloser Regex-Tester — Muster online testen und debuggen

Textverarbeitung

Testen Sie reguläre Ausdrücke online sofort gegen beliebigen Text. Live-Treffer-Hervorhebung, Erfassungsgruppen, Ersetzungs-Vorschau, Split und Muster-Erklärer. JavaScript-Regex, 100 % Datenschutz, kostenlos, ohne Anmeldung.

Doppelte Zeilen aus Text entfernen

Textverarbeitung

Doppelte Zeilen aus Text online entfernen — kostenlos, sofort, 100 % im Browser. Groß-/Kleinschreibung oder Leerzeichen ignorieren, erstes oder letztes Vorkommen behalten, entfernte Duplikate sehen. Keine Anmeldung.

URL-Slug-Generator — Text in Slugs umwandeln

Textverarbeitung

Wandeln Sie jeden Titel sofort in einen sauberen, SEO-freundlichen URL-Slug um. Akzente und Kyrillisch transliterieren oder Unicode-Buchstaben behalten. 100 % privat, im Browser.

Textzeilen alphabetisch & natürlich sortieren

Textverarbeitung

Textzeilen alphabetisch, numerisch (natürliche Reihenfolge) oder nach Länge sortieren — auf- oder absteigend. Kostenlos, 100 % im Browser. Auch entduplizieren, umkehren und Listen bereinigen. Keine Anmeldung.