Contador de tokens exato para DeepSeek, Qwen e GPT com o tokenizador de cada fornecedor, sem estimar por caractere. Cole um texto, compare cinco vocabulários e veja onde cada token é cortado. Grátis, no seu navegador.
| Modelo | Tokens | Tokens por caractere | Vocabulário |
|---|---|---|---|
| DeepSeek V4 / V3 / R1 DeepSeek · 128K | — | DeepSeek · 128K | |
| Qwen3.5 / 3.6 / 3.8 Qwen · 248K | — | Qwen · 248K | |
| Qwen3 / Qwen2.5 / QwQ Qwen · 151K | — | Qwen · 151K | |
| GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base | — | o200k_base | |
| GPT-4 / GPT-3.5 Turbo cl100k_base | — | cl100k_base |
Estes são os tokens do próprio texto. Uma chamada de API também conta o template de chat em volta de cada mensagem, então o prompt_tokens informado costuma ser um pouco maior.
Digite ou cole um texto para ver cada token.
Digite o preço de entrada da página de preços do seu provedor. Os preços mudam, por isso a ferramenta não os deixa fixos no código.
Desenvolvido e verificado pela equipe de engenharia da Go Tools.
Cerca de 4 caracteres de inglês por token Depende do vocabulário e do idioma. Medido nos textos deste site (cerca de 82.000 caracteres chineses): em inglês, cerca de 4,3–4,4 caracteres por token, ou cerca de 1,4 token por palavra; em prosa chinesa, um caractere chinês custa cerca de 0,8 token no DeepSeek e no Qwen3.5, 0,9 no Qwen3, 1,0 no GPT-4o e 1,3 no GPT-4.
Cerca de 6.300 no DeepSeek, 10.000 no GPT-4 Contando a pontuação como caractere, medido na prosa chinesa deste site: cerca de 6.200–6.300 no DeepSeek, 6.400–6.500 no Qwen3.5, 7.000–7.200 no Qwen3, 7.700 no GPT-4o e 10.300–10.500 no GPT-4. Código e textos cheios de números ocupam mais.
Mesmo trecho: 59–60 tokens em inglês, 71–156 em chinês Os exemplos “Chinês” e “Inglês” desta página são o mesmo trecho. A versão em inglês dá 59–60 tokens nos cinco vocabulários; a chinesa dá 71 no Qwen3.5, 75 no DeepSeek, 84 no Qwen3, 111 no GPT-4o e 156 no GPT-4 — de 18% a 160% a mais. O inglês varia pouco entre vocabulários (cerca de 1,4 token por palavra nos textos deste site); no chinês, depende de quantas entradas em chinês o vocabulário tem, e um com poucas (o cl100k_base do GPT-4) quebra muitos caracteres em 2–3 tokens em nível de byte.
A menor unidade em que um modelo divide e cobra o texto Um token é a menor unidade em que um modelo de linguagem divide o texto, e a unidade de cobrança das APIs e de medida das janelas de contexto. Pode ser uma palavra, parte de uma palavra, um caractere, uma expressão ou alguns bytes de um caractere — quem decide é o vocabulário de cada modelo.
Sem tokenizador público — só APIs oficiais de contagem Não com exatidão. O Claude não tem tokenizador público desde o Claude 3; em vez disso, a Anthropic oferece uma API count_tokens (a documentação acrescenta que o Claude 4.7 e posteriores usam um tokenizador mais novo, que gera cerca de 30% mais tokens para o mesmo texto). Gemini e Doubao também são contados pelas APIs oficiais, e o Doubao tem ainda uma calculadora de tokens oficial no console do Volcano Engine Ark (exige login). Esta ferramenta só lista modelos cujo vocabulário oficial é público e bate ID a ID.
Um token é a unidade que um modelo de linguagem lê e escreve, e também a unidade em que as APIs cobram e as janelas de contexto são medidas. O modelo nunca vê letras ou caracteres chineses diretamente: o tokenizador primeiro corta o texto em pedaços que existem no vocabulário e transforma cada pedaço em um ID inteiro. Palavras e expressões comuns têm entrada própria e ocupam um token; o que não está no vocabulário cai para os bytes UTF-8, e assim um único caractere chinês pode custar dois ou três tokens. Por isso a contagem depende do vocabulário. DeepSeek e Qwen guardam 人工智能 (inteligência artificial) como um único token e o GPT-4o o divide em dois, enquanto o cl100k_base do GPT-4 tem poucas entradas em chinês e precisa de 12 tokens para a frase abaixo — mais que o dobro dos 5 do DeepSeek. Abaixo está a divisão real feita por esta ferramenta.
文本：人工智能正在改变世界。（11 个字符） DeepSeek V4 5 [人工智能][正在][改变][世界][。] Qwen3.5 / 3.6 5 [人工智能][正在][改变][世界][。] Qwen3 / 2.5 5 [人工智能][正在][改变][世界][。] GPT-5 / GPT-4o 6 [人工][智能][正在][改变][世界][。] GPT-4 12 [人][工][智×2][能][正在][改][变][世×2][界][。] ×2 表示这个字被拆成了 2 个字节级 token
Qwen3.5, 3.6 e 3.8 passaram para um novo vocabulário de 248K com outras regras de divisão; Qwen3, Qwen2.5 e QwQ mantêm o de 151K. Os dois vêm do tokenizer.json dos pesos abertos oficiais e são contados separadamente — nunca aproximados com um tokenizador do GPT.
O DeepSeek usa seu vocabulário oficial (idêntico do V3 ao V4.1); o GPT usa o o200k_base e o cl100k_base da OpenAI. Comparamos 26.714 textos de teste (3,88 milhões de caracteres em 15 idiomas, código, espaços em branco e caracteres nos limites entre versões do Unicode) ID a ID com o Hugging Face tokenizers e o OpenAI tiktoken: os cinco vocabulários batem.
Uma única colagem dá cinco contagens, e você vê na hora qual modelo processa seu texto com menos tokens. A coluna de tokens por caractere permite comparar de forma justa textos de tamanhos diferentes.
A visualização da divisão colore cada token e pode mostrar seu ID. Quando vários tokens em nível de byte só formam caracteres inteiros juntos, eles ficam agrupados em um único bloco tracejado em vez de exibir bytes ilegíveis; caracteres invisíveis, como espaços de largura zero, aparecem escritos pelo ponto de código, por exemplo ⟨U+200B⟩.
Arquivos abertos mantêm as quebras de linha CRLF e o BOM originais. O DeepSeek divide uma quebra de linha do Windows \r\n em dois tokens, então o mesmo código com finais de linha CRLF custa cerca de 15% a mais. Texto colado na caixa é contado com as quebras de linha LF que o navegador mantém.
A tokenização acontece em uma thread em segundo plano (Web Worker); seu texto não é enviado aos nossos servidores. Com os vocabulários carregados, 200.000 caracteres chineses são contados em menos de um segundo, e a caixa de texto continua respondendo.
len(tiktoken.get_encoding("o200k_base").encode_ordinary(text)) A biblioteca oficial da OpenAI, só com vocabulários da OpenAI. O jeito mais direto de contar tokens de entrada do GPT-5 e do GPT-4o; não conta DeepSeek nem Qwen.
AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False) Carrega os tokenizadores oficiais de modelos abertos como DeepSeek e Qwen. A primeira execução baixa os arquivos de vocabulário do Hugging Face.
O tokenizador offline oficial, usado com o transformers. O vocabulário é o mesmo da linha DeepSeek desta ferramenta.
messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens A única opção para modelos sem tokenizador público, e o resultado inclui o overhead do formato de chat. Exige uma requisição e uma chave de API, e o texto vai para o fornecedor.
Sem código e sem dependências — prático para conferir um prompt ou comparar modelos. Para processamento em lote, use as bibliotecas acima.
Clique no exemplo “Chinês” desta página: um trecho do dia a dia com 117 caracteres (106 caracteres chineses)
DeepSeek V4 75 Qwen3.5 / 3.6 71 Qwen3 / 2.5 84 GPT-5 / GPT-4o 111 GPT-4 156
Tokens por caractere chinês: Qwen3.5 cerca de 0,67, DeepSeek 0,71, Qwen3 0,79, GPT-4o 1,05 e GPT-4 1,47. Clique em “Inglês” para ver o mesmo trecho em inglês: os cinco ficam entre 59 e 60.
订单金额 12345.67 元，共 2026 件
DeepSeek V4 16 …[123][45][.][67]…[202][6]… Qwen3.5 22 …[1][2][3][4][5][.][6][7]…[2][0][2][6]… Qwen3 22 (dígitos divididos do mesmo jeito) GPT-4o 13 …[123][45][.][67][ 元][，共]… GPT-4 16 …[123][45][.][67]…
As duas gerações do Qwen separam cada dígito, enquanto o DeepSeek e o GPT agrupam os dígitos de três em três. Textos cheios de números — tabelas, faturas, logs — custam bem mais no Qwen.
你好世界 (três espaços de largura zero U+200B entre os caracteres)
Sem eles: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5 Com eles: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8
Os espaços de largura zero separam 你好 e 世界, então cada caractere vira um token próprio e cada espaço de largura zero ocupa mais um. Texto copiado da web costuma tê-los; a visualização da divisão os mostra como ⟨U+200B⟩.
👍🎉
DeepSeek V4 3 Qwen3.5 6 Qwen3 2 GPT-4o 3 GPT-4 6
O vocabulário antigo do Qwen3 guarda os dois emojis inteiros; o novo vocabulário de 248K os devolve para bytes UTF-8, e um emoji de 4 bytes passa a ocupar 3 tokens. Um vocabulário mais novo não é mais barato em tudo — conte o seu texto real.
Cole um prompt, um documento ou um trecho de código, ou use “Abrir arquivo” para carregar um .txt, .md, .json, .csv ou outro arquivo de texto. Não tem um texto à mão? Clique em um dos exemplos. A primeira contagem baixa cinco vocabulários deste site (0,4–2,2 MB cada, com gzip); eles não são baixados de novo enquanto a página estiver aberta.
A tabela mostra de uma vez a contagem de tokens de DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o e GPT-4/GPT-3.5, além da média de tokens por caractere. Acima dela ficam os caracteres, os caracteres chineses e os bytes UTF-8, para comparar com estimativas baseadas em caracteres.
Cada bloco colorido em “Como o texto é dividido” é um token. Um contorno tracejado indica vários tokens em nível de byte que só formam caracteres inteiros juntos. Ative “Mostrar IDs dos tokens” para comparar com os IDs que uma API ou o tiktoken retorna. Clique em qualquer linha da tabela para trocar de modelo.
Digite o preço de entrada por milhão de tokens do modelo selecionado para ver o custo deste texto como entrada. A ferramenta não traz tabela de preços: os fornecedores mudam os preços com frequência e os diferenciam por horário de pico e por acerto de cache, então use o valor que estiver hoje na página de preços deles.
Uma constante só vale para um tipo de texto. Os mesmos 24 caracteres 订单金额 12345.67 元，共 2026 件 dão 13 tokens no GPT-4o e 22 no Qwen — quanto mais dígitos, maior a diferença.
tokens ≈ caracteres × 0.6
Dividir com o vocabulário do modelo de destino e contar
O tiktoken só traz vocabulários da OpenAI. O exemplo “Chinês” desta página conta 156 tokens com o cl100k_base, enquanto o DeepSeek usa 75 — uma estimativa com o dobro do valor real.
tiktoken.get_encoding("cl100k_base") # usado para o DeepSeek AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash") A fatura também inclui o template de chat, o prompt de sistema, a saída e o pensamento de um modelo de raciocínio; alguns serviços ainda cobram de forma diferente os acertos de cache. Estimar só pelo texto de entrada dá um valor baixo demais.
custo = tokens do prompt × preço de entrada
custo = prompt_tokens × preço de entrada + completion_tokens × preço de saída
Espaços de largura zero (U+200B) separam palavras: 你好世界 dá 2 tokens no DeepSeek e 7 quando há três espaços de largura zero entre os caracteres.
你\u200b好\u200b世\u200b界 → 7 tokens
你好世界 → 2 tokens
add_special_tokens=False para bater com a contagem de texto puro desta ferramenta; a documentação da API do DeepSeek também oferece um pacote de tokenizador offline na página sobre uso de tokens. Processamento de Texto
Converta texto entre UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE e mais 6 formatos instantaneamente. Grátis, no navegador, sem cadastro.
Processamento de Texto
Gere texto de preenchimento Lorem Ipsum na hora — por parágrafo, frase, palavra, byte ou lista. Copie ou baixe como texto puro, HTML, Markdown ou JSON. 100% grátis e privado, no navegador. Sem cadastro.
Processamento de Texto
Teste padrões de expressões regulares instantaneamente contra qualquer texto. Destaque ao vivo, grupos de captura, prévia de substituição, divisão e explicador. Regex JavaScript, 100% privado, sem cadastro, grátis e online.
Processamento de Texto
Remova linhas duplicadas de texto online — grátis, instantâneo, 100% no navegador. Ignore maiúsculas ou espaços, mantenha a primeira ou última ocorrência e veja quantas duplicatas foram removidas. Sem cadastro.
Processamento de Texto
Transforme qualquer título em um slug de URL limpo e otimizado para SEO instantaneamente. Translitera acentos e cirílico ou mantém letras Unicode. 100% privado, no navegador.
Processamento de Texto
Ordene linhas de texto por ordem alfabética, numérica (ordem natural) ou por comprimento — crescente ou decrescente. Grátis, 100% no navegador. Também remova duplicatas, inverta e limpe listas. Sem cadastro.