Skip to content

Счётчик токенов для DeepSeek, Qwen и GPT

Точное число токенов для DeepSeek, Qwen и GPT по официальным токенизаторам, а не оценка по символам. Вставьте текст — пять словарей рядом, и видно, где проходит граница каждого токена. Бесплатно, работает в браузере.

Работает в браузере Бесплатно
Токенизация выполняется в браузере по официальному словарю каждого поставщика — текст не отправляется на наши серверы.
Примеры:

Символы
0
Иероглифы
0
Байты UTF-8
0
Модель Токены Токенов на символ
DeepSeek V4 / V3 / R1 DeepSeek · 128K —
Qwen3.5 / 3.6 / 3.8 Qwen · 248K —
Qwen3 / Qwen2.5 / QwQ Qwen · 151K —
GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base —
GPT-4 / GPT-3.5 Turbo cl100k_base —

Это токены самого текста. При вызове API учитывается ещё шаблон чата вокруг каждого сообщения, поэтому prompt_tokens в ответе обычно на несколько больше.

Как разбит текст

Введите или вставьте текст, чтобы увидеть каждый токен.

Введите цену ввода со страницы цен поставщика. Цены меняются, поэтому в инструменте они не зашиты.

Вывод всех пяти словарей сверен по каждому ID с Hugging Face tokenizers 0.23.3 и OpenAI tiktoken 0.14.0 на 26 714 тестовых текстах (3,88 млн символов) и наборе символов на границах версий Unicode — расхождений нет; все числа в примерах на этой странице проверены по тем же эталонным реализациям. Соотношения на символ получены замерами на собственных текстах сайта (29 500 иероглифов прозы блога и 52 500 — документации инструментов). Соответствие моделей и словарей взято из таблицы моделей tiktoken и пофайлового сравнения официальных репозиториев поставщиков; проверено в ноябре 2026 года. — Команда инженеров Go Tools · 8 нояб. 2026 г.

Создано и проверено командой инженеров Go Tools.

Пересчёт токенов: краткая справка

Сколько символов в одном токене?

Около 4 символов английского текста на токен Зависит от словаря и языка. По замерам на собственных текстах сайта (около 82 000 китайских иероглифов): в английском около 4,3–4,4 символа на токен, или около 1,4 токена на слово; в китайской прозе иероглиф стоит около 0,8 токена в DeepSeek и Qwen3.5, 0,9 в Qwen3, 1,0 в GPT-4o и 1,3 в GPT-4.

Сколько токенов в 10 000 китайских иероглифов?

Около 6300 в DeepSeek, 10 000 в GPT-4 Если считать знаки препинания символами, по замерам на китайской прозе сайта: около 6200–6300 в DeepSeek, 6400–6500 в Qwen3.5, 7000–7200 в Qwen3, 7700 в GPT-4o и 10 300–10 500 в GPT-4. Код и текст, где много чисел, занимают больше.

Почему на китайский текст уходит больше токенов, чем на английский?

Один и тот же текст: 59–60 токенов на английском, 71–156 на китайском Примеры «Китайский» и «Английский» на этой странице — один и тот же текст. Английская версия занимает 59–60 токенов во всех пяти словарях, китайская — 71 в Qwen3.5, 75 в DeepSeek, 84 в Qwen3, 111 в GPT-4o и 156 в GPT-4, то есть на 18–160% больше. Для английского словари различаются мало (около 1,4 токена на слово на текстах сайта); для китайского всё зависит от того, сколько в словаре китайских записей, и словарь, где их мало (cl100k_base от GPT-4), дробит многие иероглифы на 2–3 байтовых токена.

Что такое токен как единица измерения?

Наименьшая единица, на которую модель делит текст и по которой выставляет счёт Токен — наименьшая единица, на которую языковая модель делит текст, и единица оплаты API и размера контекстного окна. Это может быть слово, часть слова, символ, фраза или несколько байтов одного символа — решает словарь каждой модели.

Можно ли посчитать токены для Claude, Gemini или Doubao?

Публичного токенизатора нет — только официальные API подсчёта Точно — нет. У Claude нет публичного токенизатора начиная с Claude 3; вместо него Anthropic предлагает API count_tokens (в документации добавлено, что Claude 4.7 и более поздние модели используют новый токенизатор, который даёт примерно на 30% больше токенов на тот же текст). Gemini и Doubao тоже считаются через их официальные API, а для Doubao есть ещё официальный калькулятор токенов в консоли Volcano Engine Ark (нужен вход в аккаунт). Здесь перечислены только модели, чей официальный словарь опубликован и совпадает по каждому ID.

Что такое токен?

Токен — единица, которую языковая модель читает и пишет; в токенах же API выставляет счёт и измеряется контекстное окно. Модель никогда не видит буквы или иероглифы напрямую: её токенизатор сначала режет текст на фрагменты из своего словаря и превращает каждый фрагмент в целочисленный ID. У частых слов и фраз есть собственные записи, и они занимают один токен; всё, чего в словаре нет, распадается на байты UTF-8, поэтому один китайский иероглиф может стоить два-три токена. Значит, число токенов зависит от словаря. DeepSeek и Qwen хранят 人工智能 («искусственный интеллект») как один токен, GPT-4o делит его на два, а в cl100k_base от GPT-4 мало китайских записей, и на предложение ниже уходит 12 токенов — более чем вдвое больше, чем 5 у DeepSeek. Ниже — реальное разбиение в этом инструменте.

文本：人工智能正在改变世界。（11 个字符）

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

Что умеет этот счётчик токенов

Оба словаря Qwen, точный подсчёт

Qwen3.5, 3.6 и 3.8 перешли на новый словарь на 248K с другими правилами разбиения; Qwen3, Qwen2.5 и QwQ остались на словаре 151K. Оба взяты из tokenizer.json в официальных открытых весах и считаются отдельно — без приближения токенизатором GPT.

Официальные словари, сверка по каждому ID

DeepSeek использует свой официальный словарь (одинаковый от V3 до V4.1); GPT — o200k_base и cl100k_base от OpenAI. Мы сравнили 26 714 тестовых текстов (3,88 млн символов на 15 языках, код, пробельные символы и символы на границах версий Unicode) по каждому ID с Hugging Face tokenizers и OpenAI tiktoken: все пять словарей совпадают.

Пять моделей рядом

Одна вставка — пять чисел: сразу видно, какой модели хватит меньше всего токенов на ваш текст. Столбец «Токенов на символ» позволяет честно сравнивать тексты разной длины.

Каждый токен на виду

Режим разбиения раскрашивает каждый токен и может показать его ID. Если несколько байтовых токенов только вместе образуют целые символы, они объединяются в один пунктирный блок вместо нечитаемых байтов; невидимые символы, например пробелы нулевой ширины, выводятся по кодовой точке: ⟨U+200B⟩.

Файлы считаются как есть

Открытые файлы сохраняют исходные переводы строк CRLF и BOM. DeepSeek разбивает перевод строки Windows \r\n на два токена, поэтому тот же код с окончаниями строк CRLF обходится примерно на 15% дороже. Текст, вставленный в поле, считается с переводами строк LF, которые оставляет браузер.

Работает в браузере

Токенизация выполняется в фоновом потоке (Web Worker); текст не отправляется на наши серверы. После загрузки словарей 200 000 китайских иероглифов считаются меньше чем за секунду, а поле ввода не подвисает.

Подсчёт токенов в коде

tiktoken (Python)

len(tiktoken.get_encoding("o200k_base").encode_ordinary(text))

Официальная библиотека OpenAI, только словари OpenAI. Самый прямой способ посчитать входные токены GPT-5 и GPT-4o; DeepSeek и Qwen она посчитать не может.

transformers AutoTokenizer

AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False)

Загружает официальные токенизаторы открытых моделей, таких как DeepSeek и Qwen. При первом запуске файлы словарей скачиваются с Hugging Face.

Офлайн-токенизатор DeepSeek

Документация API DeepSeek, страница об использовании токенов

Официальный офлайн-токенизатор, работает вместе с transformers. Его словарь совпадает со строкой DeepSeek в этом инструменте.

Официальные API подсчёта

Anthropic messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens

Единственный вариант для моделей без публичного токенизатора, и результат включает накладные расходы формата чата. Нужны запрос и ключ API, а текст уходит поставщику.

Этот счётчик токенов

Вставить текст и прочитать пять чисел

Ни кода, ни зависимостей — удобно, чтобы проверить один промпт или сравнить модели. Для пакетной обработки используйте библиотеки выше.

Примеры подсчёта: один текст, пять разбиений

Один китайский текст: в одной модели вдвое больше токенов

Нажмите пример «Китайский» на этой странице: бытовой текст из 117 символов (106 иероглифов)
DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

На один иероглиф: Qwen3.5 — около 0,67, DeepSeek — 0,71, Qwen3 — 0,79, GPT-4o — 1,05 и GPT-4 — 1,47 токена. Нажмите «Английский», чтобы получить тот же текст по-английски: у всех пяти от 59 до 60.

Числа: Qwen тратит по токену на каждую цифру

订单金额 12345.67 元，共 2026 件
DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   (цифры разбиты так же)
GPT-4o        13   …[123][45][.][67][ 元][，共]…
GPT-4         16   …[123][45][.][67]…

Оба поколения Qwen выделяют каждую цифру отдельно, а DeepSeek и GPT группируют цифры по три. Текст, где много чисел, — таблицы, счета, логи — в Qwen заметно дороже.

Невидимые пробелы нулевой ширины

你​好​世​界 (между иероглифами три пробела нулевой ширины U+200B)
Без них: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
С ними:  DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

Пробелы нулевой ширины разрывают 你好 и 世界, поэтому каждый иероглиф становится отдельным токеном, а каждый такой пробел занимает ещё один. В тексте из интернета они встречаются часто; в режиме разбиения они видны как ⟨U+200B⟩.

Эмодзи: новый словарь обходится дороже

👍🎉
DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

Старый словарь Qwen3 хранит оба эмодзи целиком; новый словарь на 248K раскладывает их на байты UTF-8, и 4-байтовый эмодзи занимает 3 токена. Новый словарь дешевле не везде — считайте на своём реальном тексте.

Как пользоваться счётчиком токенов

  1. 1

    Вставьте текст

    Вставьте промпт, документ или код либо нажмите «Открыть файл», чтобы загрузить .txt, .md, .json, .csv или другой текстовый файл. Под рукой нет текста? Нажмите один из примеров. При первом подсчёте с этого сайта скачиваются пять словарей (0,4–2,2 МБ каждый в gzip); пока страница открыта, повторно они не загружаются.

  2. 2

    Сравните пять чисел

    Таблица сразу показывает число токенов для DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o и GPT-4/GPT-3.5, а также среднее число токенов на символ. Над ней — число символов, иероглифов и байтов UTF-8, чтобы сравнить результат с оценками по символам.

  3. 3

    Изучите разбиение

    Каждый цветной блок в разделе «Как разбит текст» — это один токен. Пунктирная рамка означает, что несколько байтовых токенов только вместе образуют целые символы. Включите «Показать ID токенов», чтобы сверить их с ID, которые возвращает API или tiktoken. Щёлкните по любой строке таблицы, чтобы переключить модель.

  4. 4

    Оцените стоимость

    Введите цену выбранной модели за миллион входных токенов — и получите стоимость этого текста на входе. Прайс-листа в инструменте нет: поставщики часто меняют цены и делят их по часам пиковой нагрузки и попаданиям в кеш, поэтому берите актуальную цифру со страницы цен поставщика.

Типичные ошибки при подсчёте токенов

Оценка токенов как «символы × константа»

Константа верна только для одного типа текста. Одни и те же 24 символа 订单金额 12345.67 元，共 2026 件 — это 13 токенов в GPT-4o и 22 в Qwen: чем больше цифр, тем больше разрыв.

✗ Неверно 
токены ≈ символы × 0.6
✓ Верно 
Разбить словарём целевой модели и посчитать

Токенизатор GPT для DeepSeek или Qwen

В tiktoken есть только словари OpenAI. Пример «Китайский» на этой странице даёт 156 токенов в cl100k_base, тогда как DeepSeek тратит 75 — оценка завышена вдвое.

✗ Неверно 
tiktoken.get_encoding("cl100k_base")  # для DeepSeek
✓ Верно 
AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

Число токенов текста вместо полного счёта

В счёт входят ещё шаблон чата, системный промпт, ответ и рассуждения рассуждающей модели; некоторые сервисы ещё и по-разному тарифицируют попадания в кеш. Оценка только по входному тексту получается заниженной.

✗ Неверно 
стоимость = токены промпта × цена ввода
✓ Верно 
стоимость = prompt_tokens × цена ввода + completion_tokens × цена вывода

Невидимые символы в тексте

Пробелы нулевой ширины (U+200B) разрывают слова: 你好世界 — это 2 токена в DeepSeek и 7, если между иероглифами стоят три пробела нулевой ширины.

✗ Неверно 
你\u200b好\u200b世\u200b界   → 7 tokens
✓ Верно 
你好世界   → 2 tokens

Когда нужно считать токены

Оценить расходы на API
Перед запуском вставьте типичный промпт, системный промпт и найденный контекст, чтобы получить число токенов самого текста; добавьте накладные расходы шаблона на каждое сообщение (см. «Токены текста и подсчёт в API») — получится вход одного вызова. Затем умножьте на цену и число вызовов, чтобы получить месячную оценку.
Уложиться в контекстное окно
Длинные документы, история чата и результаты поиска быстро набегают. Сначала посчитайте каждую часть, затем решите, что сократить или пересказать.
Сравнить модели на своём языке
Один и тот же китайский текст в одном словаре может занять вдвое больше токенов, чем в другом. Сравнивайте стоимость как цену × число токенов вашего текста в этой модели, а не только по цене.
Задать размер фрагментов RAG в токенах
Размер фрагментов для поиска обычно задают в токенах. Прежде чем фиксировать длину фрагмента в символах, проверьте, сколько токенов занимает реальный отрывок в целевой модели.
Понять, почему промпт дорогой
Текст, скопированный с веб-страниц, из Word или PDF, часто содержит пробелы нулевой ширины, неразрывные пробелы и серии пробелов, которые тратят токены, оставаясь невидимыми. Режим разбиения их отмечает. Чтобы найти каждый из них по имени и кодовой точке, включите «Показать невидимые символы» в инструменте Конвертер Unicode.

Как режется текст на токены

BPE: слияние снизу вверх, от байтов
Все пять словарей — байтовый BPE (byte pair encoding). Текст переводится в байты UTF-8, затем соседние фрагменты в фиксированном порядке сливаются в более длинные записи словаря, пока сливать больше нечего. Порядок задан статистикой обучения, поэтому один и тот же текст в каждом словаре останавливается на своём разбиении.
Почему один символ — это 2–3 токена
Распространённый китайский иероглиф занимает в UTF-8 3 байта. Если в словаре есть он сам (или слово с ним), это один токен; если нет, он остаётся байтовыми фрагментами — два или три токена. Хуже всего к китайскому подходит cl100k_base от GPT-4: из 3755 самых частых иероглифов, закодированных по одному, единым токеном оказываются лишь 14,1%, против 95,7% у DeepSeek и 99,9% у Qwen3.
Предтокенизация: сначала нарезать, потом сливать
Перед BPE регулярное выражение режет текст на куски, и слияния никогда не пересекают границу куска. Правила различаются: GPT-4o и GPT-4 группируют цифры по три, Qwen оставляет по одной цифре в куске, а DeepSeek сначала выделяет последовательности иероглифов и каны (только до U+9FA5; более поздние символы идут по общему правилу). Инструмент воспроизводит каждое правило и фиксирует классы символов на Unicode 16 — той версии, которую используют эталонные реализации, — поэтому результат не зависит от версии Unicode в вашем браузере.
Токены текста и подсчёт в API
Числа относятся к самому тексту: без токена начала последовательности и без шаблона чата. API оборачивают каждое сообщение в шаблон: функция подсчёта из OpenAI Cookbook добавляет по 3 токена на сообщение, имя роли и 3 токена затравки ответа — около 7 лишних на одно сообщение; по официальной документации Qwen, 你好 — это 1 токен сам по себе и 11 в обёртке; DeepSeek не документирует, входит ли шаблон в prompt_tokens. Ответ модели и её рассуждения оплачиваются как выходные токены.
Откуда взяты словари
o200k_base и cl100k_base взяты из файлов словарей, которые OpenAI публикует для tiktoken; DeepSeek — из tokenizer.json в официальном репозитории DeepSeek-V4.1-Flash-1017 на Hugging Face (MIT); Qwen — из официальных репозиториев Qwen3-8B и Qwen3.6-35B-A3B (Apache-2.0). Инструмент хранит только то, что нужно для токенизации, — байты каждого токена и порядок слияний: 0,4–2,2 МБ на словарь, загрузка с этого сайта при первом использовании. Источники и лицензии перечислены в THIRD_PARTY_NOTICES.txt рядом с файлами.

Советы по оценке токенов

Считайте словарём целевой модели
Подсчёт расхода DeepSeek или Qwen токенизатором GPT на китайском тексте может ошибаться вдвое. Для Qwen важно и поколение: моделям начиная с Qwen3.5 соответствует строка «Qwen3.5 / 3.6 / 3.8».
Оставляйте запас на шаблоны и ответ
Число токенов чистого текста — нижняя граница. Для контекста и стоимости добавьте накладные расходы шаблона на каждое сообщение, системный промпт и ожидаемую длину ответа; рассуждения рассуждающей модели тоже считаются выводом.
Калибруйте по полю usage из API
После запуска доверяйте значению usage, которое возвращает API. Посчитайте здесь тот же промпт и сравните с prompt_tokens: разница — это накладные расходы шаблона, их можно добавлять к будущим оценкам.
Делите на фрагменты по токенам, а не по символам
Задавайте размер фрагментов RAG и пределы обрезки в токенах. Текст на нескольких языках, код и числа сильно меняют соотношение символов и токенов.
Убирайте невидимые символы перед отправкой
Проверяйте в режиме разбиения текст, скопированный с веб-страниц или из документов. Пробелы нулевой ширины, неразрывные пробелы и серии пробелов тратят токены впустую. Целые веб-страницы сначала очистите от тегов и стилей в инструменте HTML в Markdown, а затем отправляйте результат модели.

Счётчик токенов: частые вопросы

Что такое счётчик токенов (счётчик токенов LLM)?
Счётчик токенов делит текст на токены собственным токенизатором языковой модели и считает их, чтобы можно было оценить стоимость API и длину контекста. Здесь достаточно вставить текст в поле (или открыть текстовый файл): таблица сразу показывает число токенов для DeepSeek, обоих поколений Qwen, GPT-5 / GPT-4o и GPT-4, а раздел «Как разбит текст» отмечает каждый токен; введите цену, чтобы оценить стоимость ввода. Регистрация не нужна.
Сколько токенов в одном китайском иероглифе? Верна ли цифра DeepSeek 0,6?
По замерам на китайской прозе этого сайта DeepSeek тратит около 0,77–0,79 токена на иероглиф, или около 0,62 на символ, если знаки препинания и пробелы считать символами. В документации DeepSeek сказано: «1 китайский иероглиф ≈ 0,6 токена», что соответствует второму способу подсчёта. Частые слова сливаются в один токен; редкие иероглифы делятся на два (например, 龘). Цифры для остальных моделей — в краткой справке выше.
API выдаёт другое число. Подсчёт неверный?
Инструмент считает сам текст и совпадает с официальными токенизаторами по каждому ID. В prompt_tokens от API входят ещё маркеры ролей и разделители, которые шаблон чата добавляет к каждому сообщению: в примере из документации Qwen 你好 — это 1 токен сам по себе, а оплачивается как 11. Учитываются и системные промпты, и определения инструментов, и предыдущие сообщения. Постоянная разница — это накладные расходы вашего шаблона; используйте её для калибровки будущих оценок.
Какой словарь используют DeepSeek V4, R1, Qwen3.6 и GPT-5?
Базовый словарь DeepSeek одинаков в V3, R1, V3.1 и V3.2 и вплоть до V4 и V4.1; различаются только специальные токены. У Qwen два поколения: Qwen3.5, 3.6 и 3.8 используют новый словарь на 248K, а Qwen3, Qwen2.5 и QwQ — словарь на 151K (это словари открытых весов; в документации Alibaba Cloud не сказано, какой из них используют модели, размещённые в Model Studio). Для OpenAI, по таблице моделей tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 и o4-mini используют o200k_base; GPT-4, GPT-3.5 Turbo и text-embedding-3 — cl100k_base.
Почему GPT-4 тратит на китайский текст гораздо больше токенов, чем GPT-4o?
В cl100k_base от GPT-4 около 100 000 записей, и китайских среди них мало, поэтому многие иероглифы занимают два-три байтовых токена; в o200k_base от GPT-4o около 200 000 записей и много китайских слов. Пример «Китайский» на этой странице — 156 токенов в GPT-4 и 111 в GPT-4o.
Почему в Qwen числа съедают так много токенов?
Предтокенизатор Qwen помещает каждую цифру в отдельный кусок, поэтому 1234567 — это 7 токенов; DeepSeek и GPT группируют цифры по три, и им нужно 3. Текст, где много чисел, — таблицы, счета, логи — в Qwen даёт заметно больше токенов.
Мой текст куда-то загружается?
На наши серверы он не отправляется. Токенизация выполняется в фоновом потоке в вашем браузере; единственные файлы, которые загружает инструмент, — это словари с этого сайта при первом использовании.
Влияют ли переводы строк на число токенов?
Да, сильнее всего в DeepSeek: он разбивает перевод строки Windows \r\n на два токена, поэтому тот же код с окончаниями строк CRLF обходится примерно на 15% дороже, тогда как в остальных словарях разница меньше 0,5%. Текстовое поле браузера превращает вставленные переводы строк в \n, поэтому вставленный текст считается с LF; файлы, открытые через «Открыть файл», сохраняют исходные переводы строк и BOM.
Как считаются маркеры вроде <|im_start|> или <think>?
Как обычный текст, разбитый на несколько токенов, — так же, как encode_ordinary в tiktoken, — и страница предупреждает, если такие маркеры есть в тексте. Если вы сами разворачиваете открытую модель, сервер инференса обычно читает каждый из них как один специальный токен, поэтому у него число получится меньше.
Как считаются токены рассуждений у рассуждающей модели?
Рассуждения генерирует сама модель, поэтому до вызова их не узнать; этот инструмент считает текст, который у вас уже есть. В документации Qwen сказано, что рассуждения оплачиваются как выходные токены; для других рассуждающих моделей смотрите документацию каждого поставщика. Рассуждения часто длиннее итогового ответа, поэтому закладывайте на них отдельный бюджет.
Какой длины может быть текст?
Жёсткого предела нет — всё упирается в память браузера. В нашем тесте 200 000 китайских иероглифов были посчитаны меньше чем за секунду после загрузки словарей. Для очень длинного текста режим разбиения показывает первые 2000 токенов, а числа всегда охватывают весь текст. Открываемые файлы — до 20 МБ.
Может ли tiktoken посчитать токены DeepSeek или Qwen?
Нет. В tiktoken есть только словари OpenAI (o200k_base, cl100k_base); для DeepSeek или Qwen он ошибается на китайском тексте примерно вдвое (пример «Китайский» на этой странице: 156 в cl100k_base против 75 в DeepSeek). Для DeepSeek и Qwen загрузите официальный токенизатор через Hugging Face transformers и передайте add_special_tokens=False, чтобы результат совпал с подсчётом чистого текста в этом инструменте; в документации API DeepSeek на странице об использовании токенов есть и офлайн-пакет токенизатора.

Похожие инструменты

Все инструменты →

Конвертер регистра — UPPER, lower, camelCase и snake_case

Работа с текстом

Конвертируйте текст между UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE и ещё 6 форматами мгновенно. Бесплатно, только в браузере, без регистрации.

Генератор Lorem Ipsum — текст-рыба онлайн

Работа с текстом

Создавайте текст-заполнитель Lorem Ipsum мгновенно — по абзацам, предложениям, словам, байтам или спискам. Копируйте или скачивайте как обычный текст, HTML, Markdown или JSON. 100% бесплатно, приватно, в браузере. Без регистрации.

Бесплатный тестер regex — отладка совпадений онлайн

Работа с текстом

Тестируйте регулярные выражения мгновенно на любом тексте. Подсветка совпадений, группы захвата, предпросмотр замены, разбиение и пояснение. Regex в стиле JavaScript, бесплатно, конфиденциально, без регистрации.

Удаление повторяющихся строк из текста

Работа с текстом

Удаляйте повторяющиеся строки из текста онлайн — бесплатно, мгновенно, 100% в браузере. Игнорируйте регистр или пробелы, оставляйте первое или последнее вхождение, считайте удалённые дубликаты. Также сортировка и очистка.

Генератор URL-слагов — slugify любого текста

Работа с текстом

Превращайте любой заголовок в чистый SEO-дружественный URL-слаг мгновенно. Транслитерация акцентов и кириллицы или сохранение Unicode-букв. 100% приватно, прямо в браузере.

Сортировка строк текста по алфавиту и естественно

Работа с текстом

Сортируйте строки текста по алфавиту, по числам (естественный порядок) или по длине, по возрастанию или убыванию. Бесплатный онлайн-сортировщик строк, 100% в браузере. Также удаление повторов и очистка списков. Без регистрации.