Skip to content

Contador de tokens para DeepSeek, Qwen y GPT

Contador de tokens exacto para DeepSeek, Qwen y GPT con el tokenizador de cada proveedor, sin estimar por caracteres. Pega un texto, compara cinco vocabularios y mira dónde se corta cada token. Gratis, en tu navegador.

Se ejecuta en el navegador Gratis
Tokenizado en tu navegador con el vocabulario de cada proveedor: tu texto no se envía a nuestros servidores.
Ejemplos:

Caracteres
0
Caracteres chinos
0
Bytes UTF-8
0
Modelo Tokens Tokens por carácter
DeepSeek V4 / V3 / R1 DeepSeek · 128K —
Qwen3.5 / 3.6 / 3.8 Qwen · 248K —
Qwen3 / Qwen2.5 / QwQ Qwen · 151K —
GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base —
GPT-4 / GPT-3.5 Turbo cl100k_base —

Estos son los tokens del texto en sí. Una llamada a la API cuenta también la plantilla de chat que rodea cada mensaje, así que el prompt_tokens que devuelve suele ser algo mayor.

Cómo se divide el texto

Escribe o pega texto para ver cada token.

Introduce el precio de entrada que figura en la página de precios de tu proveedor. Los precios cambian, así que la herramienta no los lleva fijados.

La salida de los cinco vocabularios se comparó ID por ID con Hugging Face tokenizers 0.23.3 y OpenAI tiktoken 0.14.0 en 26.714 textos de prueba (3,88 millones de caracteres), más un conjunto de caracteres en los límites entre versiones de Unicode, y coincidió; cada número de ejemplo de esta página se comprobó con las mismas implementaciones de referencia. Las proporciones por carácter salen de mediciones sobre los textos de este sitio (29.500 caracteres chinos de prosa del blog y 52.500 de documentación de herramientas). La correspondencia entre modelos y vocabularios procede del mapa de modelos de tiktoken y de una comparación archivo por archivo de los repositorios oficiales de cada proveedor, verificada en noviembre de 2026. — Equipo de Ingeniería de Go Tools · 8 nov 2026

Creado y verificado por el equipo de ingeniería de Go Tools.

Referencia rápida de conversión de tokens

¿Cuántos caracteres son un token?

Unos 4 caracteres de inglés por token Depende del vocabulario y del idioma. Medido en los textos de este sitio (unos 82.000 caracteres chinos): en inglés, unos 4,3–4,4 caracteres por token, o alrededor de 1,4 tokens por palabra; en prosa china, un carácter chino cuesta unos 0,8 tokens en DeepSeek y Qwen3.5, 0,9 en Qwen3, 1,0 en GPT-4o y 1,3 en GPT-4.

¿Cuántos tokens son 10.000 caracteres chinos?

Unos 6.300 en DeepSeek y 10.000 en GPT-4 Contando la puntuación como caracteres, medido en la prosa china de este sitio: unos 6.200–6.300 en DeepSeek, 6.400–6.500 en Qwen3.5, 7.000–7.200 en Qwen3, 7.700 en GPT-4o y 10.300–10.500 en GPT-4. El código y el texto con muchos números ocupan más.

¿Por qué el chino usa más tokens que el inglés?

Mismo pasaje: 59–60 tokens en inglés, 71–156 en chino Los ejemplos «Chino» e «Inglés» de esta página son el mismo pasaje. La versión en inglés tiene 59–60 tokens en los cinco vocabularios; la china, 71 en Qwen3.5, 75 en DeepSeek, 84 en Qwen3, 111 en GPT-4o y 156 en GPT-4: entre un 18% y un 160% más. El inglés varía poco entre vocabularios (unos 1,4 tokens por palabra en los textos de este sitio); en chino depende de cuántas entradas en chino tenga el vocabulario, y uno con pocas (el cl100k_base de GPT-4) parte muchos caracteres en 2–3 tokens a nivel de byte.

¿Qué unidad es un token?

La unidad mínima en la que un modelo divide y factura el texto Un token es la unidad más pequeña en la que un modelo de lenguaje divide el texto, y la unidad con la que se facturan las API y se miden las ventanas de contexto. Puede ser una palabra, parte de una palabra, un carácter, una expresión o unos pocos bytes de un carácter: lo decide el vocabulario de cada modelo.

¿Puede contar tokens de Claude, Gemini o Doubao?

Sin tokenizador público: solo API oficiales de conteo No con exactitud. Claude no tiene tokenizador público desde Claude 3; en su lugar, Anthropic ofrece una API count_tokens (su documentación añade que Claude 4.7 y posteriores usan un tokenizador más nuevo que produce alrededor de un 30% más de tokens para el mismo texto). Gemini y Doubao también se cuentan con sus API oficiales, y Doubao tiene además una calculadora de tokens oficial en la consola de Volcano Engine Ark (requiere iniciar sesión). Esta herramienta solo incluye modelos cuyo vocabulario oficial es público y coincide ID por ID.

¿Qué es un token?

Un token es la unidad que un modelo de lenguaje lee y escribe, y también la unidad en la que facturan las API y se miden las ventanas de contexto. Un modelo nunca ve directamente letras ni caracteres chinos: su tokenizador primero corta el texto en fragmentos que existen en su vocabulario y convierte cada fragmento en un ID entero. Las palabras y expresiones comunes tienen su propia entrada y ocupan un token; lo que falta recurre a los bytes UTF-8, de modo que un solo carácter chino puede costar dos o tres tokens. Por eso el conteo depende del vocabulario. DeepSeek y Qwen guardan 人工智能 (inteligencia artificial) como un solo token y GPT-4o lo parte en dos, mientras que el cl100k_base de GPT-4 tiene pocas entradas en chino y necesita 12 tokens para la frase de abajo, más del doble que los 5 de DeepSeek. Abajo está la división real que hace esta herramienta.

文本:人工智能正在改变世界。(11 个字符)

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

Qué hace este contador de tokens

Los dos vocabularios de Qwen, contados con exactitud

Qwen3.5, 3.6 y 3.8 pasaron a un nuevo vocabulario de 248K con otras reglas de división; Qwen3, Qwen2.5 y QwQ mantienen el de 151K. Ambos salen del tokenizer.json de los pesos abiertos oficiales y se cuentan por separado, nunca aproximados con un tokenizador de GPT.

Vocabularios oficiales, verificados ID por ID

DeepSeek usa su vocabulario oficial (idéntico de V3 a V4.1); GPT usa o200k_base y cl100k_base de OpenAI. Comparamos 26.714 textos de prueba (3,88 millones de caracteres en 15 idiomas, código, espacios en blanco y caracteres en los límites entre versiones de Unicode) ID por ID con Hugging Face tokenizers y OpenAI tiktoken: los cinco vocabularios coinciden.

Cinco modelos lado a lado

Con un solo pegado obtienes cinco conteos y ves de inmediato qué modelo procesa tu texto con menos tokens. La columna de tokens por carácter permite comparar con justicia textos de distinta longitud.

Cada token a la vista

La vista de división colorea cada token y puede mostrar su ID. Cuando varios tokens a nivel de byte solo forman caracteres completos juntos, se agrupan en un único bloque discontinuo en lugar de mostrar bytes ilegibles; los caracteres invisibles, como los espacios de ancho cero, se escriben por su punto de código, por ejemplo ⟨U+200B⟩.

Archivos contados tal cual

Los archivos abiertos conservan sus saltos de línea CRLF y su BOM originales. DeepSeek divide un salto de línea de Windows \r\n en dos tokens, así que el mismo código con finales de línea CRLF cuesta alrededor de un 15% más. El texto pegado en el cuadro se cuenta con los saltos de línea LF que conserva el navegador.

Funciona en tu navegador

La tokenización se hace en un hilo en segundo plano (Web Worker); tu texto no se envía a nuestros servidores. Con los vocabularios ya cargados, 200.000 caracteres chinos se cuentan en menos de un segundo y el cuadro de texto sigue respondiendo con fluidez.

Contar tokens en código

tiktoken (Python)

len(tiktoken.get_encoding("o200k_base").encode_ordinary(text))

La biblioteca oficial de OpenAI, solo con vocabularios de OpenAI. La forma más directa de contar los tokens de entrada de GPT-5 y GPT-4o; no sirve para DeepSeek ni para Qwen.

transformers AutoTokenizer

AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False)

Carga los tokenizadores oficiales de modelos abiertos como DeepSeek y Qwen. La primera ejecución descarga los archivos de vocabulario desde Hugging Face.

Tokenizador sin conexión de DeepSeek

Documentación de la API de DeepSeek, página sobre el uso de tokens

El tokenizador sin conexión oficial, que se usa con transformers. Su vocabulario es el mismo que el de la fila DeepSeek de esta herramienta.

API oficiales de conteo

Anthropic messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens

La única vía para modelos sin tokenizador público, y el resultado incluye la sobrecarga del formato de chat. Requiere una petición y una clave de API, y el texto va al proveedor.

Este contador de tokens

Pega y lee cinco conteos

Sin código ni dependencias: práctico para revisar un prompt o comparar modelos. Para procesar lotes, usa las bibliotecas de arriba.

Ejemplos de conteo de tokens: un texto, cinco divisiones

Un mismo pasaje en chino, el doble de tokens en un modelo

Haz clic en el ejemplo «Chino» de esta página: un pasaje cotidiano de 117 caracteres (106 caracteres chinos)
DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

Tokens por carácter chino: Qwen3.5 unos 0,67; DeepSeek 0,71; Qwen3 0,79; GPT-4o 1,05 y GPT-4 1,47. Haz clic en «Inglés» para ver el mismo pasaje en inglés: los cinco quedan entre 59 y 60.

Números: Qwen gasta un token por dígito

订单金额 12345.67 元,共 2026 件
DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   (los dígitos se dividen igual)
GPT-4o        13   …[123][45][.][67][ 元][,共]…
GPT-4         16   …[123][45][.][67]…

Las dos generaciones de Qwen separan cada dígito por su cuenta, mientras que DeepSeek y GPT agrupan los dígitos de tres en tres. El texto con muchos números —tablas, facturas, logs— cuesta bastante más en Qwen.

Espacios de ancho cero invisibles

你​好​世​界 (tres espacios de ancho cero U+200B entre los caracteres)
Sin ellos: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
Con ellos: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

Los espacios de ancho cero separan 你好 y 世界, así que cada carácter pasa a ser su propio token y cada espacio de ancho cero ocupa uno más. El texto copiado de la web los contiene a menudo; la vista de división los muestra como ⟨U+200B⟩.

Emojis: el vocabulario más nuevo cuesta más

👍🎉
DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

El vocabulario anterior de Qwen3 guarda enteros los dos emojis; el nuevo vocabulario de 248K los devuelve a bytes UTF-8, así que un emoji de 4 bytes ocupa 3 tokens. Un vocabulario más nuevo no es más barato en todo: cuenta tu texto real.

Cómo usar el contador de tokens

  1. 1

    Pega tu texto

    Pega un prompt, un documento o código, o usa «Abrir archivo» para cargar un .txt, .md, .json, .csv u otro archivo de texto. ¿No tienes texto a mano? Haz clic en uno de los ejemplos. El primer conteo descarga cinco vocabularios desde este sitio (de 0,4 a 2,2 MB cada uno, comprimidos con gzip); no se vuelven a descargar mientras la página siga abierta.

  2. 2

    Lee los cinco conteos

    La tabla muestra a la vez el número de tokens de DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o y GPT-4/GPT-3.5, además del promedio de tokens por carácter. Encima tienes los caracteres, los caracteres chinos y los bytes UTF-8, para compararlos con las estimaciones basadas en caracteres.

  3. 3

    Inspecciona la división

    Cada bloque de color bajo «Cómo se divide el texto» es un token. Un contorno discontinuo indica que varios tokens a nivel de byte solo forman caracteres completos juntos. Activa «Mostrar ID de token» para compararlos con los ID que devuelve una API o tiktoken. Haz clic en cualquier fila de la tabla para cambiar de modelo.

  4. 4

    Estima el coste

    Introduce el precio de entrada por millón de tokens del modelo seleccionado para obtener el coste de este texto como entrada. La herramienta no incluye una lista de precios: los proveedores los cambian a menudo y los diferencian por horas punta y por aciertos de caché, así que usa la cifra que figure hoy en su página de precios.

Errores comunes al contar tokens

Estimar los tokens como caracteres × una constante

Una constante solo vale para un tipo de texto. Los mismos 24 caracteres 订单金额 12345.67 元,共 2026 件 son 13 tokens en GPT-4o y 22 en Qwen: cuantos más dígitos, mayor es la diferencia.

✗ Incorrecto
tokens ≈ caracteres × 0.6
✓ Correcto
Dividir con el vocabulario del modelo de destino y contar

Usar un tokenizador de GPT para DeepSeek o Qwen

tiktoken solo incluye vocabularios de OpenAI. El ejemplo «Chino» de esta página cuenta 156 tokens con cl100k_base, donde DeepSeek usa 75: una estimación que duplica la real.

✗ Incorrecto
tiktoken.get_encoding("cl100k_base")  # usado para DeepSeek
✓ Correcto
AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

Tomar el conteo del texto por la factura

La factura incluye también la plantilla de chat, el prompt del sistema, la salida y el pensamiento de un modelo de razonamiento; algunos servicios cobran además de forma distinta los aciertos de caché. Una estimación hecha solo con el texto de entrada se queda corta.

✗ Incorrecto
coste = tokens del prompt × precio de entrada
✓ Correcto
coste = prompt_tokens × precio de entrada + completion_tokens × precio de salida

Caracteres invisibles en el texto

Los espacios de ancho cero (U+200B) separan las palabras: 你好世界 son 2 tokens en DeepSeek y 7 en cuanto hay tres espacios de ancho cero entre los caracteres.

✗ Incorrecto
你\u200b好\u200b世\u200b界   → 7 tokens
✓ Correcto
你好世界   → 2 tokens

Cuándo necesitas contar tokens

Estimar el coste de la API
Antes del lanzamiento, pega un prompt típico, el prompt del sistema y el contexto recuperado para obtener los tokens del texto en sí; suma la sobrecarga de la plantilla por mensaje (consulta «Tokens del texto plano frente a conteos de la API») para tener la entrada de cada llamada, y luego multiplica por el precio y el volumen de llamadas para estimar el gasto mensual.
No salirte de la ventana de contexto
Los documentos largos, el historial del chat y los resultados de recuperación suman rápido. Cuenta primero cada parte y luego decide qué recortar o resumir.
Comparar modelos en tu idioma
El mismo pasaje en chino puede ocupar el doble de tokens en un vocabulario que en otro. Compara el coste como precio × tokens de tu texto en ese modelo, no solo por el precio.
Dimensionar los chunks de RAG en tokens
El tamaño de los fragmentos (chunks) de recuperación suele fijarse en tokens. Comprueba cuántos tokens ocupa un pasaje real en el modelo de destino antes de fijar una longitud en caracteres por chunk.
Averiguar por qué un prompt sale caro
El texto copiado de páginas web, Word o PDF suele traer espacios de ancho cero, espacios de no separación y secuencias de espacios en blanco que cuestan tokens sin verse. La vista de división los marca. Para identificar cada uno por su nombre y su punto de código, usa «Mostrar caracteres invisibles» en el Conversor Unicode.

Cómo se cortan los tokens

BPE: fusionar a partir de bytes
Los cinco vocabularios son BPE a nivel de byte (byte pair encoding). El texto se convierte en bytes UTF-8 y luego los fragmentos adyacentes se fusionan en entradas más largas del vocabulario, en un orden fijo, hasta que no se puede fusionar nada más. Ese orden sale de estadísticas de entrenamiento, por lo que el mismo texto termina en una división distinta en cada vocabulario.
Por qué un carácter puede valer 2 o 3 tokens
Un carácter chino común ocupa 3 bytes en UTF-8. Si el vocabulario lo contiene (o contiene una palabra que lo incluye), es un token; si no, queda en fragmentos de bytes: dos o tres tokens. El cl100k_base de GPT-4 es el menos favorable al chino: de los 3.755 caracteres más comunes codificados uno a uno, solo el 14,1% es un único token, frente al 95,7% en DeepSeek y el 99,9% en Qwen3.
Pretokenización: primero dividir, luego fusionar
Antes del BPE, una expresión regular corta el texto en segmentos, y las fusiones nunca cruzan el límite de un segmento. Las reglas varían: GPT-4o y GPT-4 agrupan los dígitos de tres en tres, Qwen deja un dígito por segmento y DeepSeek aísla primero las secuencias de caracteres chinos y kana (solo hasta U+9FA5; los caracteres posteriores siguen la regla general). Esta herramienta reproduce cada regla y fija las clases de caracteres en Unicode 16 —la versión que usan las implementaciones de referencia—, para que los resultados no varíen con la versión de Unicode de tu navegador.
Tokens del texto plano frente a conteos de la API
Los conteos son del texto en sí: sin token de inicio de secuencia ni plantilla de chat. Las API envuelven cada mensaje en una plantilla: la función de conteo del OpenAI Cookbook suma 3 tokens por mensaje, el nombre del rol y 3 tokens que preparan la respuesta, unos 7 de más para un solo mensaje; en la documentación oficial de Qwen, 你好 es 1 token por sí solo y 11 una vez envuelto; DeepSeek no documenta si prompt_tokens incluye su plantilla. La respuesta del modelo y su pensamiento se facturan como tokens de salida.
De dónde salen los vocabularios
o200k_base y cl100k_base proceden de los archivos de vocabulario que OpenAI publica para tiktoken; DeepSeek, del tokenizer.json del repositorio oficial DeepSeek-V4.1-Flash-1017 en Hugging Face (MIT); Qwen, de los repositorios oficiales Qwen3-8B y Qwen3.6-35B-A3B (Apache-2.0). La herramienta solo guarda lo que necesita la tokenización —los bytes de cada token y el orden de fusión—, de 0,4 a 2,2 MB por vocabulario, que se descargan desde este sitio la primera vez que la usas. Las fuentes y licencias figuran en THIRD_PARTY_NOTICES.txt, junto a los archivos.

Consejos para estimar tokens

Cuenta con el vocabulario del modelo de destino
Contar el consumo de DeepSeek o Qwen con un tokenizador de GPT puede desviarse por un factor de dos en texto chino. En Qwen, elige además la generación correcta: los modelos a partir de Qwen3.5 usan la fila «Qwen3.5 / 3.6 / 3.8».
Deja margen para plantillas y salida
El conteo del texto plano es un mínimo. Para el contexto y el coste, suma la sobrecarga de la plantilla por mensaje, el prompt del sistema y la longitud de salida esperada; el pensamiento de un modelo de razonamiento también cuenta como salida.
Calibra con el campo usage de la API
Ya en producción, fíate del campo usage que devuelve la API. Cuenta aquí el mismo prompt y compáralo con prompt_tokens: la diferencia es la sobrecarga de tu plantilla, que puedes sumar a tus estimaciones futuras.
Divide por tokens, no por caracteres
Fija en tokens el tamaño de los chunks de RAG y los límites de truncado. El texto en varios idiomas, el código y los números cambian mucho la proporción entre caracteres y tokens.
Limpia los caracteres invisibles antes de enviar
Revisa en la vista de división el texto copiado de páginas web o documentos. Los espacios de ancho cero, los espacios de no separación y las secuencias de espacios en blanco gastan tokens para nada. Para páginas web completas, quita primero las etiquetas y los estilos con HTML a Markdown y luego envía el resultado al modelo.

Preguntas frecuentes sobre el contador de tokens

¿Qué es un contador de tokens (contador de tokens LLM)?
Un contador de tokens divide el texto en tokens con el propio tokenizador de un modelo de lenguaje y los cuenta, para estimar el coste de la API y la longitud del contexto. Aquí, pega el texto en el cuadro (o abre un archivo de texto): la tabla muestra a la vez el número de tokens de DeepSeek, las dos generaciones de Qwen, GPT-5 / GPT-4o y GPT-4, y «Cómo se divide el texto» marca cada token; introduce un precio para estimar el coste de entrada. No hace falta registrarse.
¿Cuántos tokens es un carácter chino? ¿Es correcto el 0,6 de DeepSeek?
Medido en la prosa china de este sitio, DeepSeek usa unos 0,77–0,79 tokens por carácter chino, o unos 0,62 por carácter si la puntuación y los espacios cuentan como caracteres. La propia documentación de DeepSeek dice «1 carácter chino ≈ 0,6 tokens», lo que coincide con la segunda forma de contar. Las palabras comunes se fusionan en un token; los caracteres raros se dividen en dos (por ejemplo, 龘). Las cifras de los demás modelos están en la referencia rápida de arriba.
La API da otro número. ¿Está mal el conteo?
La herramienta cuenta el texto en sí y coincide ID por ID con los tokenizadores oficiales. El prompt_tokens de una API incluye además los marcadores de rol y los separadores que la plantilla de chat añade a cada mensaje: en el ejemplo documentado por Qwen, 你好 es 1 token por sí solo y se factura como 11. Los prompts del sistema, las definiciones de herramientas y los mensajes anteriores también cuentan. Una diferencia constante es la sobrecarga de tu plantilla: úsala para calibrar tus estimaciones futuras.
¿Qué vocabulario usan DeepSeek V4, R1, Qwen3.6 y GPT-5?
El vocabulario base de DeepSeek es idéntico desde V3, R1, V3.1 y V3.2 hasta V4 y V4.1; solo cambian los tokens especiales. Qwen tiene dos generaciones: Qwen3.5, 3.6 y 3.8 usan el nuevo vocabulario de 248K; Qwen3, Qwen2.5 y QwQ, el de 151K (son los vocabularios de los pesos abiertos; la documentación de Alibaba Cloud no indica cuál usan sus modelos alojados en Model Studio). En OpenAI, según el mapa de modelos de tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 y o4-mini usan o200k_base; GPT-4, GPT-3.5 Turbo y text-embedding-3 usan cl100k_base.
¿Por qué GPT-4 necesita tantos más tokens que GPT-4o para el chino?
El cl100k_base de GPT-4 tiene unas 100.000 entradas, pocas de ellas en chino, así que muchos caracteres ocupan dos o tres tokens a nivel de byte; el o200k_base de GPT-4o tiene unas 200.000 entradas y muchas palabras chinas. El ejemplo «Chino» de esta página son 156 tokens en GPT-4 y 111 en GPT-4o.
¿Por qué los números cuestan tantos tokens en Qwen?
El pretokenizador de Qwen pone cada dígito en su propio segmento, así que 1234567 son 7 tokens; DeepSeek y GPT agrupan los dígitos de tres en tres y necesitan 3. El texto con muchos números, como tablas, facturas y logs, cuenta bastante más en Qwen.
¿Se envía mi texto a algún sitio?
No se envía a nuestros servidores. La tokenización se ejecuta en un hilo en segundo plano de tu navegador; los únicos archivos que descarga la herramienta son los vocabularios, desde este sitio, la primera vez que la usas.
¿Los saltos de línea cambian el número de tokens?
Sí, sobre todo en DeepSeek: divide un salto de línea de Windows \r\n en dos tokens, así que el mismo código con finales de línea CRLF cuesta alrededor de un 15% más, frente a menos del 0,5% en los demás vocabularios. Un cuadro de texto del navegador convierte los saltos de línea pegados en \n, así que el texto pegado se cuenta con LF; los archivos cargados con «Abrir archivo» conservan sus saltos de línea y su BOM originales.
¿Cómo se cuentan marcadores como <|im_start|> o <think>?
Como texto normal, divididos en varios tokens —igual que encode_ordinary de tiktoken—, y la página te avisa cuando tu texto los contiene. Si alojas tú mismo un modelo abierto, el servidor de inferencia suele leer cada uno como un único token especial, así que su conteo será menor.
¿Cómo se cuentan los tokens de pensamiento de un modelo de razonamiento?
El pensamiento lo genera el modelo, así que no se puede conocer antes de la llamada; esta herramienta cuenta texto que ya tienes. La documentación de Qwen indica que el pensamiento se factura como tokens de salida; para otros modelos de razonamiento, consulta la documentación de cada proveedor. El pensamiento suele ser más largo que la respuesta final, así que resérvale un presupuesto aparte.
¿Qué longitud puede tener el texto?
No hay un límite fijo; el tope lo pone la memoria del navegador. En nuestra prueba, 200.000 caracteres chinos se contaron en menos de un segundo con los vocabularios ya cargados. Con textos muy largos, la vista de división muestra los primeros 2.000 tokens, mientras que los conteos siempre abarcan todo. Los archivos abiertos pueden ocupar hasta 20 MB.
¿Puede tiktoken contar los tokens de DeepSeek o Qwen?
No. tiktoken solo incluye los vocabularios de OpenAI (o200k_base, cl100k_base); si lo usas para DeepSeek o Qwen, se desvía aproximadamente por un factor de dos en texto chino (ejemplo «Chino» de esta página: 156 con cl100k_base, 75 en DeepSeek). Para DeepSeek y Qwen, carga el tokenizador oficial con Hugging Face transformers y pasa add_special_tokens=False para que coincida con el conteo de texto plano de esta herramienta; la documentación de la API de DeepSeek también ofrece un paquete de tokenizador sin conexión en su página sobre el uso de tokens.

Herramientas relacionadas

Ver todas las herramientas →

Convertidor de Mayúsculas, Minúsculas, camelCase y Más

Procesamiento de Texto

Convierte texto entre UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE y 6 formatos más al instante. Gratis, en el navegador, sin registro.

Generador de Lorem Ipsum — Texto de Relleno

Procesamiento de Texto

Genera texto de relleno Lorem Ipsum al instante: por párrafo, frase, palabra, byte o lista. Copia o descarga como texto plano, HTML, Markdown o JSON. 100 % gratis, privado, en el navegador. Sin registro.

Probador de Regex Gratis — Depura Patrones en Línea

Procesamiento de Texto

Prueba patrones de expresiones regulares al instante contra cualquier texto. Resaltado de coincidencias en vivo, grupos de captura, vista previa de reemplazo, división y explicador. Regex JavaScript, 100% privado, sin registro.

Eliminar líneas duplicadas de un texto

Procesamiento de Texto

Elimina líneas duplicadas de un texto online — gratis, instantáneo, 100% en el navegador. Ignora mayúsculas o espacios, conserva la primera o la última ocurrencia y ve cuántos duplicados se quitaron. Sin registro.

Generador de Slugs de URL — Convierte tu Texto

Procesamiento de Texto

Convierte cualquier título en un slug de URL limpio y optimizado para SEO al instante. Translitera acentos y cirílico, o conserva letras Unicode. 100% privado, en tu navegador.

Ordenar líneas de texto alfabética y naturalmente

Procesamiento de Texto

Ordena líneas de texto alfabética, numérica (orden natural) o por longitud, ascendente o descendente. Todo online, 100% en el navegador. Elimina duplicados, invierte y limpia tus listas. Sin registro.