Skip to content

Contatore di token per DeepSeek, Qwen e GPT

Contatore di token esatto per DeepSeek, Qwen e GPT: il tokenizer di ogni fornitore, non una stima sui caratteri. Incolla un testo, confronta cinque vocabolari affiancati e guarda dove si divide ogni token. Gratis, nel browser.

Funziona nel browser Gratuito
Tokenizzazione nel tuo browser con il vocabolario di ciascun fornitore: il tuo testo non viene inviato ai nostri server.
Esempi:

Caratteri
0
Caratteri cinesi
0
Byte UTF-8
0
Modello Token Token per carattere
DeepSeek V4 / V3 / R1 DeepSeek · 128K —
Qwen3.5 / 3.6 / 3.8 Qwen · 248K —
Qwen3 / Qwen2.5 / QwQ Qwen · 151K —
GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base —
GPT-4 / GPT-3.5 Turbo cl100k_base —

Questi sono i token del testo in sé. Una chiamata API conta anche il template di chat attorno a ogni messaggio, quindi il prompt_tokens che riporta di solito è un po' più alto.

Come viene suddiviso il testo

Scrivi o incolla un testo per vedere ogni token.

Inserisci il prezzo di input indicato nella pagina dei prezzi del tuo provider. I prezzi cambiano, quindi lo strumento non li incorpora nel codice.

L'output dei cinque vocabolari è stato confrontato ID per ID con Hugging Face tokenizers 0.23.3 e OpenAI tiktoken 0.14.0 su 26.714 testi di prova (3.88 milioni di caratteri) più un insieme di caratteri ai confini tra versioni Unicode, con piena corrispondenza; ogni numero degli esempi di questa pagina è stato verificato con le stesse implementazioni di riferimento. I rapporti per carattere provengono da misurazioni sui testi di questo sito (29.500 caratteri cinesi di articoli del blog e 52.500 di documentazione degli strumenti). La corrispondenza tra modelli e vocabolari deriva dalla mappa dei modelli di tiktoken e da un confronto file per file dei repository ufficiali dei fornitori, verificata a novembre 2026. — Team di ingegneria Go Tools · 8 nov 2026

Realizzato e verificato dal team di ingegneria di Go Tools.

Conversioni rapide dei token

Quanti caratteri vale un token?

Circa 4 caratteri di inglese per token Dipende dal vocabolario e dalla lingua. Misurato sui testi di questo sito (circa 82.000 caratteri cinesi): in inglese circa 4.3–4.4 caratteri per token, ovvero circa 1.4 token per parola; nella prosa cinese un carattere cinese costa circa 0.8 token in DeepSeek e Qwen3.5, 0.9 in Qwen3, 1.0 in GPT-4o e 1.3 in GPT-4.

Quanti token sono 10.000 caratteri cinesi?

Circa 6.300 in DeepSeek, 10.000 in GPT-4 Contando la punteggiatura come caratteri, misurato sulla prosa cinese di questo sito: circa 6.200–6.300 in DeepSeek, 6.400–6.500 in Qwen3.5, 7.000–7.200 in Qwen3, 7.700 in GPT-4o e 10.300–10.500 in GPT-4. Codice e testi pieni di numeri ne richiedono di più.

Perché il cinese usa più token dell'inglese?

Stesso passaggio: 59–60 token in inglese, 71–156 in cinese Gli esempi «Cinese» e «Inglese» di questa pagina sono lo stesso passaggio. La versione inglese è 59–60 token in tutti e cinque i vocabolari; quella cinese è 71 in Qwen3.5, 75 in DeepSeek, 84 in Qwen3, 111 in GPT-4o e 156 in GPT-4, dal 18% al 160% in più. L'inglese varia poco da un vocabolario all'altro (circa 1.4 token per parola sui testi di questo sito); per il cinese dipende da quante voci cinesi ha il vocabolario, e uno che ne ha poche (il cl100k_base di GPT-4) spezza molti caratteri in 2–3 token a livello di byte.

Che unità è un token?

L'unità minima in cui un modello divide e fattura il testo Un token è l'unità più piccola in cui un modello linguistico divide il testo, ed è l'unità di fatturazione delle API e di misura delle finestre di contesto. Può essere una parola, parte di una parola, un carattere, una locuzione o pochi byte di un singolo carattere: lo decide il vocabolario di ciascun modello.

Può contare i token di Claude, Gemini o Doubao?

Nessun tokenizer pubblico: solo API di conteggio ufficiali Non con esattezza. Claude non ha un tokenizer pubblico da Claude 3; Anthropic offre invece un'API count_tokens (la sua documentazione aggiunge che Claude 4.7 e successivi usano un tokenizer più recente, che produce circa il 30% di token in più per lo stesso testo). Anche Gemini e Doubao si contano tramite le API ufficiali, e per Doubao c'è anche un calcolatore di token ufficiale nella console Volcano Engine Ark (serve l'accesso). Questo strumento elenca solo i modelli il cui vocabolario ufficiale è pubblico e corrisponde ID per ID.

Che cos'è un token?

Un token è l'unità che un modello linguistico legge e scrive, nonché l'unità con cui le API fatturano e si misurano le finestre di contesto. Un modello non vede mai direttamente lettere o caratteri cinesi: il suo tokenizer prima taglia il testo in pezzi presenti nel vocabolario, poi converte ogni pezzo in un ID intero. Parole e locuzioni comuni hanno una voce propria e occupano un solo token; ciò che manca ricade sui byte UTF-8, quindi un singolo carattere cinese può costare due o tre token. Il conteggio dipende quindi dal vocabolario. DeepSeek e Qwen memorizzano 人工智能 (intelligenza artificiale) come un solo token e GPT-4o lo divide in due, mentre il cl100k_base di GPT-4 ha poche voci cinesi e richiede 12 token per la frase qui sotto, più del doppio dei 5 di DeepSeek. Qui sotto trovi la suddivisione reale prodotta da questo strumento.

文本：人工智能正在改变世界。（11 个字符）

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

Che cosa fa questo contatore di token

Entrambi i vocabolari Qwen, contati con esattezza

Qwen3.5, 3.6 e 3.8 sono passati a un nuovo vocabolario da 248K con regole di suddivisione diverse; Qwen3, Qwen2.5 e QwQ mantengono quello da 151K. Entrambi provengono dal tokenizer.json dei pesi aperti ufficiali e vengono contati separatamente, mai approssimati con un tokenizer GPT.

Vocabolari ufficiali, verificati ID per ID

DeepSeek usa il suo vocabolario ufficiale (identico da V3 a V4.1); GPT usa o200k_base e cl100k_base di OpenAI. Abbiamo confrontato 26.714 testi di prova (3.88 milioni di caratteri in 15 lingue, codice, spazi bianchi e caratteri ai confini tra versioni Unicode) ID per ID con Hugging Face tokenizers e OpenAI tiktoken: tutti e cinque i vocabolari corrispondono.

Cinque modelli affiancati

Basta incollare una volta per avere cinque conteggi, così vedi subito quale modello gestisce il tuo testo con meno token. La colonna dei token per carattere confronta in modo equo testi di lunghezza diversa.

Ogni token in vista

La vista della suddivisione colora ogni token e può mostrarne l'ID. Quando più token a livello di byte formano caratteri interi solo insieme, vengono raggruppati in un unico blocco tratteggiato invece di mostrare byte illeggibili; i caratteri invisibili, come gli spazi a larghezza zero, vengono scritti con il loro code point, per esempio ⟨U+200B⟩.

File contati così come sono

I file aperti mantengono gli a capo CRLF e il BOM originali. DeepSeek divide un a capo Windows \r\n in due token, quindi lo stesso codice con fine riga CRLF costa circa il 15% in più. Il testo incollato nella casella viene contato con gli a capo LF che il browser mantiene.

Funziona nel tuo browser

La tokenizzazione avviene in un thread in background (Web Worker); il tuo testo non viene inviato ai nostri server. Con i vocabolari caricati, 200.000 caratteri cinesi vengono contati in meno di un secondo e la casella di testo resta reattiva.

Contare i token nel codice

tiktoken (Python)

len(tiktoken.get_encoding("o200k_base").encode_ordinary(text))

La libreria ufficiale di OpenAI, solo per i vocabolari OpenAI. Il modo più diretto per contare i token di input di GPT-5 e GPT-4o; non sa contare DeepSeek né Qwen.

transformers AutoTokenizer

AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False)

Carica i tokenizer ufficiali dei modelli aperti come DeepSeek e Qwen. Alla prima esecuzione scarica i file di vocabolario da Hugging Face.

Tokenizer offline di DeepSeek

Documentazione dell'API DeepSeek, pagina sull'utilizzo dei token

Il tokenizer offline ufficiale, da usare con transformers. Il suo vocabolario è lo stesso della riga DeepSeek di questo strumento.

API di conteggio ufficiali

Anthropic messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens

L'unica via per i modelli senza tokenizer pubblico, e il risultato include l'overhead del formato di chat. Servono una richiesta e una chiave API, e il testo va al fornitore.

Questo contatore di token

Incolla e leggi cinque conteggi

Niente codice e nessuna dipendenza: comodo per controllare un prompt o confrontare modelli. Per l'elaborazione in batch usa le librerie qui sopra.

Esempi di conteggio dei token: un testo, cinque suddivisioni

Lo stesso passaggio cinese, il doppio dei token in un modello

Clicca sull'esempio «Cinese» di questa pagina: un passaggio di vita quotidiana di 117 caratteri (106 caratteri cinesi)
DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

Token per carattere cinese: Qwen3.5 circa 0.67, DeepSeek 0.71, Qwen3 0.79, GPT-4o 1.05 e GPT-4 1.47. Clicca su «Inglese» per lo stesso passaggio in inglese: tutti e cinque restano tra 59 e 60.

Numeri: Qwen spende un token per cifra

订单金额 12345.67 元，共 2026 件
DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   (cifre suddivise allo stesso modo)
GPT-4o        13   …[123][45][.][67][ 元][，共]…
GPT-4         16   …[123][45][.][67]…

Entrambe le generazioni di Qwen separano ogni cifra, mentre DeepSeek e GPT raggruppano le cifre a tre a tre. Il testo pieno di numeri — tabelle, fatture, log — costa sensibilmente di più in Qwen.

Spazi a larghezza zero invisibili

你​好​世​界 (tre spazi a larghezza zero U+200B tra i caratteri)
Senza: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
Con:   DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

Gli spazi a larghezza zero separano 你好 e 世界, quindi ogni carattere diventa un token a sé e ogni spazio a larghezza zero ne occupa uno in più. Il testo copiato dal web li contiene spesso; la vista della suddivisione li mostra come ⟨U+200B⟩.

Emoji: il vocabolario più recente costa di più

👍🎉
DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

Il vecchio vocabolario di Qwen3 memorizza intere entrambe le emoji; il nuovo vocabolario da 248K le riporta ai byte UTF-8, quindi un'emoji da 4 byte occupa 3 token. Un vocabolario più recente non è più economico ovunque: conta il tuo testo reale.

Come si usa il contatore di token

  1. 1

    Incolla il testo

    Incolla un prompt, un documento o del codice, oppure usa «Apri file» per caricare un file .txt, .md, .json, .csv o un altro file di testo. Non hai un testo sottomano? Clicca su uno degli esempi. Il primo conteggio scarica cinque vocabolari da questo sito (0.4–2.2 MB ciascuno, compressi con gzip); finché la pagina resta aperta non vengono scaricati di nuovo.

  2. 2

    Leggi i cinque conteggi

    La tabella mostra in una volta il numero di token per DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o e GPT-4/GPT-3.5, più la media di token per carattere. Sopra trovi caratteri, caratteri cinesi e byte UTF-8, da confrontare con le stime basate sui caratteri.

  3. 3

    Esamina la suddivisione

    Ogni blocco colorato sotto «Come viene suddiviso il testo» è un token. Un contorno tratteggiato indica più token a livello di byte che formano caratteri interi solo insieme. Attiva «Mostra ID dei token» per confrontarli con gli ID restituiti da un'API o da tiktoken. Clicca su una riga della tabella per cambiare modello.

  4. 4

    Stima il costo

    Inserisci il prezzo di input per milione di token del modello selezionato per ottenere il costo di questo testo come input. Lo strumento non include un listino: i fornitori cambiano spesso i prezzi e li differenziano per fasce orarie di punta e cache hit, quindi usa la cifra che trovi oggi sulla loro pagina dei prezzi.

Errori comuni nel conteggio dei token

Stimare i token come caratteri × una costante

Una costante vale solo per un tipo di testo. Gli stessi 24 caratteri 订单金额 12345.67 元，共 2026 件 sono 13 token in GPT-4o e 22 in Qwen: più cifre ci sono, più cresce il divario.

✗ Errato 
token ≈ caratteri × 0.6
✓ Corretto 
Suddividi con il vocabolario del modello di destinazione e conta

Usare un tokenizer GPT per DeepSeek o Qwen

tiktoken include solo i vocabolari OpenAI. L'esempio «Cinese» di questa pagina conta 156 token con cl100k_base, dove DeepSeek ne usa 75: una stima doppia rispetto al reale.

✗ Errato 
tiktoken.get_encoding("cl100k_base")  # usato per DeepSeek
✓ Corretto 
AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

Scambiare il conteggio del testo per la fattura

La fattura include anche il template di chat, il prompt di sistema, l'output e, nei modelli di ragionamento, il ragionamento stesso; alcuni servizi applicano inoltre prezzi diversi ai cache hit. Una stima basata sul solo testo di input risulta bassa.

✗ Errato 
costo = token del prompt × prezzo di input
✓ Corretto 
costo = prompt_tokens × prezzo di input + completion_tokens × prezzo di output

Caratteri invisibili nel testo

Gli spazi a larghezza zero (U+200B) spezzano le parole: 你好世界 è 2 token in DeepSeek e 7 quando tre spazi a larghezza zero si trovano tra i caratteri.

✗ Errato 
你\u200b好\u200b世\u200b界   → 7 token
✓ Corretto 
你好世界   → 2 token

Quando serve contare i token

Stimare i costi delle API
Prima del lancio, incolla un prompt tipico, il prompt di sistema e il contesto recuperato per ottenere i token del testo in sé; aggiungi l'overhead del template per messaggio (vedi «Token del testo semplice e conteggi delle API») per avere l'input di ogni chiamata, poi moltiplica per prezzo e volume di chiamate per una stima mensile.
Restare nella finestra di contesto
Documenti lunghi, cronologia della chat e risultati del retrieval si accumulano in fretta. Conta prima ogni parte, poi decidi cosa tagliare o riassumere.
Confrontare i modelli sulla tua lingua
Lo stesso passaggio in cinese può richiedere il doppio dei token in un vocabolario rispetto a un altro. Confronta il costo come prezzo × token del tuo testo in quel modello, non solo in base al prezzo.
Dimensionare i chunk RAG in token
La dimensione dei chunk per il retrieval di solito si fissa in token. Controlla quanti token occupa un passaggio reale nel modello di destinazione prima di fissare una lunghezza in caratteri per chunk.
Capire perché un prompt costa tanto
Il testo copiato da pagine web, Word o PDF contiene spesso spazi a larghezza zero, spazi non separabili e sequenze di spazi che costano token senza essere visibili. La vista della suddivisione li evidenzia. Per individuarli uno per uno con nome e code point, usa «Mostra caratteri invisibili» nel Convertitore Unicode.

Come vengono tagliati i token

BPE: fusioni a partire dai byte
Tutti e cinque i vocabolari sono BPE a livello di byte (byte pair encoding). Il testo viene convertito in byte UTF-8, poi i pezzi adiacenti vengono fusi in voci più lunghe del vocabolario secondo un ordine fisso, finché non resta nulla da fondere. L'ordine deriva da statistiche di addestramento, perciò lo stesso testo si ferma a una suddivisione diversa in ogni vocabolario.
Perché un carattere può valere 2–3 token
Un carattere cinese comune occupa 3 byte in UTF-8. Se il vocabolario lo contiene (o contiene una parola che lo include), è un solo token; altrimenti resta in pezzi di byte: due o tre token. Il cl100k_base di GPT-4 è il meno adatto al cinese: dei 3.755 caratteri più comuni codificati uno per uno, solo il 14.1% è un singolo token, contro il 95.7% di DeepSeek e il 99.9% di Qwen3.
Pre-tokenizzazione: prima si divide, poi si fonde
Prima del BPE, un'espressione regolare taglia il testo in segmenti, e le fusioni non superano mai il confine di un segmento. Le regole cambiano: GPT-4o e GPT-4 raggruppano le cifre a tre a tre, Qwen tiene una cifra per segmento e DeepSeek isola prima le sequenze di caratteri cinesi e kana (solo fino a U+9FA5; i caratteri successivi seguono la regola generale). Questo strumento riproduce ogni regola e fissa le classi di caratteri a Unicode 16 — la versione usata dalle implementazioni di riferimento —, così i risultati non cambiano con la versione Unicode del tuo browser.
Token del testo semplice e conteggi delle API
I conteggi riguardano il testo in sé: nessun token di inizio sequenza e nessun template di chat. Le API avvolgono ogni messaggio in un template: la funzione di conteggio dell'OpenAI Cookbook aggiunge 3 token per messaggio, il nome del ruolo e 3 token di avvio della risposta, circa 7 in più per un solo messaggio; nella documentazione ufficiale di Qwen, 你好 è 1 token da solo e 11 una volta avvolto; DeepSeek non documenta se prompt_tokens includa il suo template. La risposta del modello e il suo ragionamento vengono fatturati come token di output.
Da dove vengono i vocabolari
o200k_base e cl100k_base provengono dai file di vocabolario che OpenAI pubblica per tiktoken; DeepSeek dal tokenizer.json del repository ufficiale DeepSeek-V4.1-Flash-1017 su Hugging Face (MIT); Qwen dai repository ufficiali Qwen3-8B e Qwen3.6-35B-A3B (Apache-2.0). Lo strumento conserva solo ciò che serve alla tokenizzazione — i byte di ogni token e l'ordine delle fusioni —, 0.4–2.2 MB per vocabolario, scaricati da questo sito al primo utilizzo. Fonti e licenze sono elencate in THIRD_PARTY_NOTICES.txt, accanto ai file.

Consigli per stimare i token

Conta con il vocabolario del modello di destinazione
Contare l'uso di DeepSeek o Qwen con un tokenizer GPT può sbagliare di un fattore due sul testo cinese. Per Qwen scegli anche la generazione giusta: dai modelli Qwen3.5 in poi si usa la riga «Qwen3.5 / 3.6 / 3.8».
Lascia margine per template e output
Il conteggio del testo semplice è un minimo. Per contesto e costi aggiungi l'overhead del template per messaggio, il prompt di sistema e la lunghezza prevista dell'output; nei modelli di ragionamento conta come output anche il ragionamento stesso.
Calibra con il campo usage dell'API
Una volta in produzione, fidati del campo usage restituito dall'API. Conta qui lo stesso prompt e confrontalo con prompt_tokens: la differenza è l'overhead del tuo template, che puoi aggiungere alle stime future.
Suddividi in token, non in caratteri
Imposta in token la dimensione dei chunk RAG e i limiti di troncamento. Testo in più lingue, codice e numeri cambiano molto il rapporto tra caratteri e token.
Pulisci i caratteri invisibili prima dell'invio
Controlla nella vista della suddivisione il testo copiato da pagine web o documenti. Spazi a larghezza zero, spazi non separabili e sequenze di spazi consumano token per niente. Per pagine web intere, togli prima tag e stili con HTML in Markdown, poi invia il risultato al modello.

Domande frequenti sul contatore di token

Che cos'è un contatore di token (contatore di token LLM)?
Un contatore di token divide il testo in token con il tokenizer del modello linguistico stesso e li conta, così puoi stimare il costo delle API e la lunghezza del contesto. Qui incolla il testo nella casella (o apri un file di testo): la tabella mostra in una volta il numero di token per DeepSeek, entrambe le generazioni di Qwen, GPT-5 / GPT-4o e GPT-4, e «Come viene suddiviso il testo» evidenzia ogni token; inserisci un prezzo per stimare il costo di input. Nessuna registrazione.
Quanti token vale un carattere cinese? Lo 0.6 di DeepSeek è giusto?
Misurato sulla prosa cinese di questo sito, DeepSeek usa circa 0.77–0.79 token per carattere cinese, ovvero circa 0.62 per carattere se punteggiatura e spazi contano come caratteri. La documentazione di DeepSeek indica «1 carattere cinese ≈ 0.6 token», che corrisponde al secondo modo di contare. Le parole comuni si fondono in un token; i caratteri rari si dividono in due (per esempio 龘). I valori per gli altri modelli sono nelle conversioni rapide qui sopra.
L'API riporta un numero diverso. Il conteggio è sbagliato?
Lo strumento conta il testo in sé e corrisponde ID per ID ai tokenizer ufficiali. Il prompt_tokens di un'API include anche i marcatori di ruolo e i separatori che il template di chat aggiunge a ogni messaggio: nell'esempio documentato da Qwen, 你好 è 1 token da solo e viene fatturato come 11. Contano anche prompt di sistema, definizioni degli strumenti e messaggi precedenti. Una differenza costante è l'overhead del tuo template: usala per calibrare le stime future.
Quale vocabolario usano DeepSeek V4, R1, Qwen3.6 e GPT-5?
Il vocabolario di base di DeepSeek è identico da V3, R1, V3.1 e V3.2 fino a V4 e V4.1; cambiano solo i token speciali. Qwen ha due generazioni: Qwen3.5, 3.6 e 3.8 usano il nuovo vocabolario da 248K, Qwen3, Qwen2.5 e QwQ quello da 151K (sono i vocabolari dei pesi aperti; la documentazione di Alibaba Cloud non dice quale usino i modelli ospitati su Model Studio). Per OpenAI, secondo la mappa dei modelli di tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 e o4-mini usano o200k_base; GPT-4, GPT-3.5 Turbo e text-embedding-3 usano cl100k_base.
Perché GPT-4 richiede molti più token di GPT-4o per il cinese?
Il cl100k_base di GPT-4 ha circa 100.000 voci, poche delle quali cinesi, quindi molti caratteri occupano due o tre token a livello di byte; l'o200k_base di GPT-4o ha circa 200.000 voci e molte parole cinesi. L'esempio «Cinese» di questa pagina è 156 token in GPT-4 e 111 in GPT-4o.
Perché in Qwen i numeri costano così tanti token?
Il pre-tokenizer di Qwen mette ogni cifra in un segmento a sé, quindi 1234567 è 7 token; DeepSeek e GPT raggruppano le cifre a tre a tre e ne servono 3. I testi pieni di numeri, come tabelle, fatture e log, risultano sensibilmente più costosi in Qwen.
Il mio testo viene inviato da qualche parte?
Non viene inviato ai nostri server. La tokenizzazione gira in un thread in background nel tuo browser; gli unici file che lo strumento scarica sono i vocabolari, da questo sito, al primo utilizzo.
Gli a capo cambiano il numero di token?
Sì, soprattutto in DeepSeek: divide un a capo Windows \r\n in due token, quindi lo stesso codice con fine riga CRLF costa circa il 15% in più, contro meno dello 0.5% negli altri vocabolari. Una casella di testo del browser converte gli a capo incollati in \n, quindi il testo incollato viene contato con LF; i file caricati con «Apri file» mantengono gli a capo e il BOM originali.
Come vengono contati marcatori come <|im_start|> o <think>?
Come testo normale, suddivisi in più token — come fa encode_ordinary di tiktoken —, e la pagina ti avvisa quando il tuo testo li contiene. Se ospiti tu stesso un modello aperto, il server di inferenza di solito legge ciascuno come un unico token speciale, quindi il suo conteggio sarà più basso.
Come vengono contati i token di ragionamento (thinking)?
Il ragionamento è generato dal modello, quindi non si può conoscere prima della chiamata; questo strumento conta testo che hai già. La documentazione di Qwen indica che il ragionamento viene fatturato come token di output; per altri modelli di ragionamento consulta la documentazione di ciascun fornitore. Il ragionamento è spesso più lungo della risposta finale, quindi prevedi un budget a parte.
Quanto può essere lungo il testo?
Non c'è un limite rigido; il tetto è la memoria del browser. Nel nostro test, 200.000 caratteri cinesi sono stati contati in meno di un secondo con i vocabolari già caricati. Per testi molto lunghi la vista della suddivisione mostra i primi 2.000 token, mentre i conteggi coprono sempre tutto. I file aperti possono arrivare a 20 MB.
tiktoken può contare i token di DeepSeek o Qwen?
No. tiktoken include solo i vocabolari di OpenAI (o200k_base, cl100k_base); usato per DeepSeek o Qwen sbaglia di circa un fattore due sul cinese (esempio «Cinese» di questa pagina: 156 con cl100k_base, 75 in DeepSeek). Per DeepSeek e Qwen carica il tokenizer ufficiale con Hugging Face transformers e passa add_special_tokens=False per ottenere lo stesso conteggio del testo semplice di questo strumento; la documentazione dell'API di DeepSeek offre anche un pacchetto tokenizer offline nella pagina sull'utilizzo dei token.

Strumenti correlati

Vedi tutti gli strumenti →

Convertitore maiuscole-minuscole online

Elaborazione del testo

Converti testo tra UPPERCASE, lowercase, Title Case, camelCase, snake_case e altri 10 formati all'istante. Gratuito, solo browser, senza registrazione.

Generatore Lorem Ipsum — Testo Segnaposto

Elaborazione del testo

Genera testo segnaposto Lorem Ipsum all'istante — per paragrafo, frase, parola, byte o elenco. Copia o scarica come testo, HTML, Markdown o JSON. 100% gratis, privato, nel browser. Senza registrazione.

Tester Regex gratuito — Debug e match dei pattern online

Elaborazione del testo

Testa pattern regex all'istante su qualsiasi testo. Evidenziazione delle corrispondenze, gruppi di acquisizione, anteprima di sostituzione e split. Espressioni regolari in JavaScript, 100% private, senza registrazione.

Rimuovi righe duplicate dal testo

Elaborazione del testo

Rimuovi righe duplicate da un testo online — gratis, istantaneo, 100% nel browser. Ignora maiuscole o spazi, mantieni la prima o l'ultima occorrenza e vedi quanti duplicati vengono rimossi. Ordina e pulisci. Senza registrazione.

Generatore di slug URL — crea slug da qualunque testo

Elaborazione del testo

Trasforma qualunque titolo in uno slug URL pulito e SEO-friendly all'istante. Translittera accenti e cirillico, o mantieni le lettere Unicode. 100% privato, nel browser.

Ordina righe di testo alfabeticamente e naturalmente

Elaborazione del testo

Ordina righe di testo in ordine alfabetico, numerico (naturale) o per lunghezza, crescente o decrescente. Strumento online gratuito, 100% nel browser. Rimuove anche i duplicati, inverte e pulisce le liste. Senza registrazione.