¿Qué es un contador de tokens (contador de tokens LLM)?
Un contador de tokens divide el texto en tokens con el propio tokenizador de un modelo de lenguaje y los cuenta, para estimar el coste de la API y la longitud del contexto. Aquí, pega el texto en el cuadro (o abre un archivo de texto): la tabla muestra a la vez el número de tokens de DeepSeek, las dos generaciones de Qwen, GPT-5 / GPT-4o y GPT-4, y «Cómo se divide el texto» marca cada token; introduce un precio para estimar el coste de entrada. No hace falta registrarse.
¿Cuántos tokens es un carácter chino? ¿Es correcto el 0,6 de DeepSeek?
Medido en la prosa china de este sitio, DeepSeek usa unos 0,77–0,79 tokens por carácter chino, o unos 0,62 por carácter si la puntuación y los espacios cuentan como caracteres. La propia documentación de DeepSeek dice «1 carácter chino ≈ 0,6 tokens», lo que coincide con la segunda forma de contar. Las palabras comunes se fusionan en un token; los caracteres raros se dividen en dos (por ejemplo, 龘). Las cifras de los demás modelos están en la referencia rápida de arriba.
La API da otro número. ¿Está mal el conteo?
La herramienta cuenta el texto en sí y coincide ID por ID con los tokenizadores oficiales. El prompt_tokens de una API incluye además los marcadores de rol y los separadores que la plantilla de chat añade a cada mensaje: en el ejemplo documentado por Qwen, 你好 es 1 token por sí solo y se factura como 11. Los prompts del sistema, las definiciones de herramientas y los mensajes anteriores también cuentan. Una diferencia constante es la sobrecarga de tu plantilla: úsala para calibrar tus estimaciones futuras.
¿Qué vocabulario usan DeepSeek V4, R1, Qwen3.6 y GPT-5?
El vocabulario base de DeepSeek es idéntico desde V3, R1, V3.1 y V3.2 hasta V4 y V4.1; solo cambian los tokens especiales. Qwen tiene dos generaciones: Qwen3.5, 3.6 y 3.8 usan el nuevo vocabulario de 248K; Qwen3, Qwen2.5 y QwQ, el de 151K (son los vocabularios de los pesos abiertos; la documentación de Alibaba Cloud no indica cuál usan sus modelos alojados en Model Studio). En OpenAI, según el mapa de modelos de tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 y o4-mini usan o200k_base; GPT-4, GPT-3.5 Turbo y text-embedding-3 usan cl100k_base.
¿Por qué GPT-4 necesita tantos más tokens que GPT-4o para el chino?
El cl100k_base de GPT-4 tiene unas 100.000 entradas, pocas de ellas en chino, así que muchos caracteres ocupan dos o tres tokens a nivel de byte; el o200k_base de GPT-4o tiene unas 200.000 entradas y muchas palabras chinas. El ejemplo «Chino» de esta página son 156 tokens en GPT-4 y 111 en GPT-4o.
¿Por qué los números cuestan tantos tokens en Qwen?
El pretokenizador de Qwen pone cada dígito en su propio segmento, así que 1234567 son 7 tokens; DeepSeek y GPT agrupan los dígitos de tres en tres y necesitan 3. El texto con muchos números, como tablas, facturas y logs, cuenta bastante más en Qwen.
¿Se envía mi texto a algún sitio?
No se envía a nuestros servidores. La tokenización se ejecuta en un hilo en segundo plano de tu navegador; los únicos archivos que descarga la herramienta son los vocabularios, desde este sitio, la primera vez que la usas.
¿Los saltos de línea cambian el número de tokens?
Sí, sobre todo en DeepSeek: divide un salto de línea de Windows \r\n en dos tokens, así que el mismo código con finales de línea CRLF cuesta alrededor de un 15% más, frente a menos del 0,5% en los demás vocabularios. Un cuadro de texto del navegador convierte los saltos de línea pegados en \n, así que el texto pegado se cuenta con LF; los archivos cargados con «Abrir archivo» conservan sus saltos de línea y su BOM originales.
¿Cómo se cuentan marcadores como <|im_start|> o <think>?
Como texto normal, divididos en varios tokens —igual que encode_ordinary de tiktoken—, y la página te avisa cuando tu texto los contiene. Si alojas tú mismo un modelo abierto, el servidor de inferencia suele leer cada uno como un único token especial, así que su conteo será menor.
¿Cómo se cuentan los tokens de pensamiento de un modelo de razonamiento?
El pensamiento lo genera el modelo, así que no se puede conocer antes de la llamada; esta herramienta cuenta texto que ya tienes. La documentación de Qwen indica que el pensamiento se factura como tokens de salida; para otros modelos de razonamiento, consulta la documentación de cada proveedor. El pensamiento suele ser más largo que la respuesta final, así que resérvale un presupuesto aparte.
¿Qué longitud puede tener el texto?
No hay un límite fijo; el tope lo pone la memoria del navegador. En nuestra prueba, 200.000 caracteres chinos se contaron en menos de un segundo con los vocabularios ya cargados. Con textos muy largos, la vista de división muestra los primeros 2.000 tokens, mientras que los conteos siempre abarcan todo. Los archivos abiertos pueden ocupar hasta 20 MB.
¿Puede tiktoken contar los tokens de DeepSeek o Qwen?
No. tiktoken solo incluye los vocabularios de OpenAI (o200k_base, cl100k_base); si lo usas para DeepSeek o Qwen, se desvía aproximadamente por un factor de dos en texto chino (ejemplo «Chino» de esta página: 156 con cl100k_base, 75 en DeepSeek). Para DeepSeek y Qwen, carga el tokenizador oficial con Hugging Face transformers y pasa add_special_tokens=False para que coincida con el conteo de texto plano de esta herramienta; la documentación de la API de DeepSeek también ofrece un paquete de tokenizador sin conexión en su página sobre el uso de tokens.