Skip to content

Licznik tokenów dla DeepSeek, Qwen i GPT

Dokładna liczba tokenów w DeepSeek, Qwen i GPT, liczona tokenizerem każdego dostawcy, a nie szacowana ze znaków. Wklej tekst, porównaj pięć słowników i zobacz, gdzie przebiega podział na tokeny. Za darmo, w przeglądarce.

Działa w przeglądarce Bezpłatne
Tokenizacja w przeglądarce, słownikiem każdego dostawcy — tekst nie jest wysyłany na nasze serwery.
Przykłady:

Znaki
0
Znaki chińskie
0
Bajty UTF-8
0
Model Tokeny Tokeny na znak
DeepSeek V4 / V3 / R1 DeepSeek · 128K —
Qwen3.5 / 3.6 / 3.8 Qwen · 248K —
Qwen3 / Qwen2.5 / QwQ Qwen · 151K —
GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base —
GPT-4 / GPT-3.5 Turbo cl100k_base —

To tokeny samego tekstu. Wywołanie API liczy też szablon czatu wokół każdej wiadomości, więc zwracana wartość prompt_tokens jest zwykle o kilka wyższa.

Jak tekst jest dzielony

Wpisz lub wklej tekst, aby zobaczyć każdy token.

Wpisz cenę wejścia z cennika dostawcy. Ceny się zmieniają, dlatego narzędzie nie ma ich wpisanych na sztywno.

Wyniki wszystkich pięciu słowników porównano ID po ID z Hugging Face tokenizers 0.23.3 i OpenAI tiktoken 0.14.0 na 26 714 tekstach testowych (3,88 mln znaków) oraz na zestawie znaków z granic wersji Unicode — wszystkie były zgodne; każdą liczbę z przykładów na tej stronie sprawdzono względem tych samych implementacji referencyjnych. Proporcje na znak pochodzą z pomiarów na własnych tekstach tej witryny (29 500 znaków chińskich prozy blogowej i 52 500 z dokumentacji narzędzi). Przyporządkowanie modeli do słowników pochodzi z mapy modeli w tiktoken oraz z porównania oficjalnych repozytoriów dostawców plik po pliku, sprawdzonego w listopadzie 2026. — Zespół inżynierski Go Tools · 8 lis 2026

Zbudowane i zweryfikowane przez zespół inżynierski Go Tools.

Przeliczanie tokenów — szybkie odpowiedzi

Ile znaków to jeden token?

Około 4 znaków tekstu angielskiego na token To zależy od słownika i języka. Według pomiarów na tekstach tej witryny (około 82 000 znaków chińskich): w angielskim wypada około 4,3–4,4 znaku na token, czyli około 1,4 tokenu na słowo; w chińskiej prozie znak chiński kosztuje około 0,8 tokenu w DeepSeek i Qwen3.5, 0,9 w Qwen3, 1,0 w GPT-4o i 1,3 w GPT-4.

Ile tokenów to 10 000 znaków chińskich?

Około 6 300 w DeepSeek, 10 000 w GPT-4 Licząc znaki interpunkcyjne jako znaki, według pomiarów na chińskiej prozie z tej witryny: około 6 200–6 300 w DeepSeek, 6 400–6 500 w Qwen3.5, 7 000–7 200 w Qwen3, 7 700 w GPT-4o i 10 300–10 500 w GPT-4. Kod i tekst pełen liczb zajmują więcej.

Dlaczego chiński zużywa więcej tokenów niż angielski?

Ten sam fragment: 59–60 tokenów po angielsku, 71–156 po chińsku Przykłady „Chiński” i „Angielski” z tej strony to ten sam fragment. Wersja angielska zajmuje we wszystkich pięciu słownikach 59–60 tokenów, chińska — 71 w Qwen3.5, 75 w DeepSeek, 84 w Qwen3, 111 w GPT-4o i 156 w GPT-4, czyli od 18% do 160% więcej. Angielski niewiele różni się między słownikami (około 1,4 tokenu na słowo na tekstach tej witryny); w chińskim wszystko zależy od liczby chińskich wpisów w słowniku, a słownik, który ma ich mało (cl100k_base modelu GPT-4), dzieli wiele znaków na 2–3 tokeny na poziomie bajtów.

Jaką jednostką jest token?

Najmniejsza jednostka podziału tekstu i rozliczeń modelu Token to najmniejsza jednostka, na którą model językowy dzieli tekst, a także jednostka rozliczeń API i miary okna kontekstu. Może to być słowo, część słowa, znak, fraza albo kilka bajtów jednego znaku — decyduje o tym słownik danego modelu.

Czy narzędzie policzy tokeny dla Claude, Gemini albo Doubao?

Brak publicznego tokenizera — tylko oficjalne API do liczenia Nie dokładnie. Claude od wersji Claude 3 nie ma publicznego tokenizera; zamiast tego Anthropic udostępnia API count_tokens (dokumentacja dodaje, że Claude 4.7 i nowsze używają nowszego tokenizera, który dla tego samego tekstu daje około 30% więcej tokenów). Gemini i Doubao również liczy się przez ich oficjalne API, a dla Doubao jest też oficjalny kalkulator tokenów w konsoli Volcano Engine Ark (wymaga zalogowania). To narzędzie uwzględnia tylko modele, których oficjalny słownik jest publiczny i zgadza się ID po ID.

Czym jest token?

Token to jednostka, w której model językowy czyta i pisze, a zarazem jednostka, w której API naliczają opłaty i mierzy się okna kontekstu. Model nigdy nie widzi bezpośrednio liter ani znaków chińskich: jego tokenizer najpierw tnie tekst na kawałki obecne w słowniku i zamienia każdy z nich na liczbę całkowitą — identyfikator. Częste słowa i frazy mają własne wpisy i zajmują jeden token; wszystko, czego brakuje, wraca do bajtów UTF-8, więc pojedynczy znak chiński może kosztować dwa lub trzy tokeny. Liczba tokenów zależy zatem od słownika. DeepSeek i Qwen przechowują 人工智能 (sztuczna inteligencja) jako jeden token, a GPT-4o dzieli to słowo na dwa, natomiast cl100k_base modelu GPT-4 ma niewiele chińskich wpisów i na zdanie poniżej potrzebuje 12 tokenów — ponad dwa razy więcej niż 5 w DeepSeek. Poniżej rzeczywisty podział wykonany przez to narzędzie.

文本：人工智能正在改变世界。（11 个字符）

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

Co potrafi ten licznik tokenów

Oba słowniki Qwen, liczone dokładnie

Qwen3.5, 3.6 i 3.8 przeszły na nowy słownik 248K z innymi regułami podziału; Qwen3, Qwen2.5 i QwQ zostały przy słowniku 151K. Oba pochodzą z pliku tokenizer.json w oficjalnych otwartych wagach i są liczone osobno — nigdy w przybliżeniu tokenizerem GPT.

Oficjalne słowniki, sprawdzone ID po ID

DeepSeek korzysta z oficjalnego słownika (identycznego od V3 do V4.1), a GPT z o200k_base i cl100k_base od OpenAI. Porównaliśmy 26 714 tekstów testowych (3,88 mln znaków w 15 językach, kod, białe znaki i znaki na granicach wersji Unicode) ID po ID z Hugging Face tokenizers i OpenAI tiktoken: wyniki wszystkich pięciu słowników są zgodne.

Pięć modeli obok siebie

Jedno wklejenie daje pięć wyników, więc od razu widać, który model obsługuje tekst najmniejszą liczbą tokenów. Kolumna „Tokeny na znak” pozwala uczciwie porównywać teksty różnej długości.

Każdy token widoczny

Widok podziału koloruje każdy token i może pokazać jego ID. Gdy kilka tokenów na poziomie bajtów dopiero razem tworzy całe znaki, trafiają do jednego bloku z przerywaną ramką zamiast wyświetlać się jako krzaki; niewidoczne znaki, takie jak spacje o zerowej szerokości, są wypisywane jako punkt kodowy, np. ⟨U+200B⟩.

Pliki liczone takie, jakie są

Otwarte pliki zachowują oryginalne końce wiersza CRLF i BOM. DeepSeek dzieli windowsowy koniec wiersza \r\n na dwa tokeny, więc ten sam kod z końcami wiersza CRLF kosztuje około 15% więcej. Tekst wklejony do pola jest liczony z końcami wiersza LF, które zostawia przeglądarka.

Działa w przeglądarce

Tokenizacja odbywa się w wątku w tle (Web Worker); tekst nie jest wysyłany na nasze serwery. Po wczytaniu słowników 200 000 znaków chińskich liczy się w mniej niż sekundę, a pole tekstowe nadal płynnie reaguje.

Liczenie tokenów w kodzie

tiktoken (Python)

len(tiktoken.get_encoding("o200k_base").encode_ordinary(text))

Oficjalna biblioteka OpenAI, tylko ze słownikami OpenAI. Najprostszy sposób na policzenie tokenów wejściowych GPT-5 i GPT-4o; DeepSeek ani Qwen nie policzy.

transformers AutoTokenizer

AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False)

Wczytuje oficjalne tokenizery otwartych modeli, takich jak DeepSeek i Qwen. Przy pierwszym uruchomieniu pobiera pliki słowników z Hugging Face.

Tokenizer offline DeepSeek

Dokumentacja API DeepSeek, strona o zużyciu tokenów

Oficjalny tokenizer offline, używany razem z transformers. Jego słownik jest taki sam jak w wierszu DeepSeek w tym narzędziu.

Oficjalne API do liczenia tokenów

Anthropic messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens

Jedyny sposób dla modeli bez publicznego tokenizera, a wynik obejmuje narzut formatu czatu. Wymaga żądania i klucza API, a tekst trafia do dostawcy.

Ten licznik tokenów

Wklej i odczytaj pięć wyników

Bez kodu i bez zależności — wygodny do sprawdzenia jednego promptu lub porównania modeli. Do zadań wsadowych lepiej użyć bibliotek wymienionych wyżej.

Przykłady: jeden tekst, pięć podziałów

Jeden chiński fragment, w jednym modelu dwa razy więcej tokenów

Kliknij na tej stronie przykład „Chiński”: codzienny fragment o długości 117 znaków (106 znaków chińskich)
DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

Na znak chiński: Qwen3.5 około 0,67, DeepSeek 0,71, Qwen3 0,79, GPT-4o 1,05 i GPT-4 1,47 tokenu. Przycisk „Angielski” wczytuje ten sam fragment po angielsku: wszystkie pięć wyników mieści się między 59 a 60.

Liczby: Qwen zużywa jeden token na cyfrę

订单金额 12345.67 元，共 2026 件
DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   (cyfry podzielone tak samo)
GPT-4o        13   …[123][45][.][67][ 元][，共]…
GPT-4         16   …[123][45][.][67]…

Obie generacje Qwen wydzielają każdą cyfrę osobno, a DeepSeek i GPT grupują cyfry po trzy. Tekst pełen liczb — tabele, faktury, logi — kosztuje w Qwen wyraźnie więcej.

Niewidoczne spacje o zerowej szerokości

你​好​世​界 (trzy spacje o zerowej szerokości U+200B między znakami)
Bez nich: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
Z nimi:   DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

Spacje o zerowej szerokości rozdzielają 你好 i 世界, więc każdy znak staje się osobnym tokenem, a każda taka spacja zajmuje kolejny. Tekst skopiowany z sieci często je zawiera; widok podziału pokazuje je jako ⟨U+200B⟩.

Emoji: nowszy słownik kosztuje więcej

👍🎉
DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

Starszy słownik Qwen3 przechowuje oba emoji w całości; nowy słownik 248K rozbija je na bajty UTF-8, więc 4-bajtowe emoji zajmuje 3 tokeny. Nowszy słownik nie wszędzie jest tańszy — warto policzyć własny, prawdziwy tekst.

Jak korzystać z licznika tokenów

  1. 1

    Wklej tekst

    Wklej prompt, dokument lub fragment kodu albo wczytaj przyciskiem „Otwórz plik” plik .txt, .md, .json, .csv lub inny plik tekstowy. Nie ma tekstu pod ręką? Kliknij jeden z przykładów. Przy pierwszym liczeniu z tej witryny pobiera się pięć słowników (każdy 0,4–2,2 MB po kompresji gzip); dopóki strona pozostaje otwarta, nie są pobierane ponownie.

  2. 2

    Odczytaj pięć wyników

    Tabela pokazuje naraz liczbę tokenów dla DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o i GPT-4/GPT-3.5 oraz średnią liczbę tokenów na znak. Nad nią widać liczbę znaków, znaków chińskich i bajtów UTF-8 — do porównania z szacunkami opartymi na liczbie znaków.

  3. 3

    Sprawdź podział

    Każdy kolorowy blok w sekcji „Jak tekst jest dzielony” to jeden token. Przerywana ramka oznacza, że kilka tokenów na poziomie bajtów dopiero razem tworzy całe znaki. Po włączeniu opcji „Pokaż ID tokenów” można je porównać z identyfikatorami zwracanymi przez API lub tiktoken. Kliknięcie wiersza tabeli przełącza model.

  4. 4

    Oszacuj koszt

    Wpisz cenę wejścia wybranego modelu za milion tokenów, aby poznać koszt tego tekstu jako wejścia. Narzędzie nie ma wbudowanego cennika — dostawcy często zmieniają ceny i różnicują je według godzin szczytu oraz trafień w cache, więc warto wziąć kwotę z ich aktualnego cennika.

Częste błędy przy liczeniu tokenów

Szacowanie tokenów jako znaki × stała

Stała sprawdza się tylko dla jednego rodzaju tekstu. Te same 24 znaki 订单金额 12345.67 元，共 2026 件 to 13 tokenów w GPT-4o i 22 w Qwen — im więcej cyfr, tym większa różnica.

✗ Niepoprawne 
tokeny ≈ znaki × 0.6
✓ Poprawne 
Podziel słownikiem modelu docelowego i policz

Tokenizer GPT użyty do DeepSeek lub Qwen

tiktoken zawiera tylko słowniki OpenAI. Przykład „Chiński” z tej strony daje w cl100k_base 156 tokenów, a DeepSeek zużywa 75 — szacunek zawyżony dwukrotnie.

✗ Niepoprawne 
tiktoken.get_encoding("cl100k_base")  # użyte dla DeepSeek
✓ Poprawne 
AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

Traktowanie liczby tokenów tekstu jako rachunku

Rachunek obejmuje też szablon czatu, prompt systemowy, odpowiedź i rozumowanie modelu rozumującego; niektóre usługi inaczej wyceniają też trafienia w cache. Szacunek oparty wyłącznie na tekście wejściowym wychodzi za nisko.

✗ Niepoprawne 
koszt = tokeny promptu × cena wejścia
✓ Poprawne 
koszt = prompt_tokens × cena wejścia + completion_tokens × cena wyjścia

Niewidoczne znaki w tekście

Spacje o zerowej szerokości (U+200B) rozdzielają słowa: 你好世界 to w DeepSeek 2 tokeny, a 7, gdy między znakami stoją trzy spacje o zerowej szerokości.

✗ Niepoprawne 
你\u200b好\u200b世\u200b界   → 7 tokenów
✓ Poprawne 
你好世界   → 2 tokeny

Kiedy trzeba liczyć tokeny

Szacowanie kosztów API
Przed wdrożeniem wystarczy wkleić typowy prompt, prompt systemowy i pobrany kontekst, aby poznać liczbę tokenów samego tekstu; po doliczeniu narzutu szablonu na każdą wiadomość (zob. „Tokeny czystego tekstu a liczby z API”) wychodzi wejście jednego wywołania, które pomnożone przez cenę i liczbę wywołań daje szacunek kosztu miesięcznego.
Zmieszczenie się w oknie kontekstu
Długie dokumenty, historia czatu i wyniki wyszukiwania (retrieval) szybko się sumują. Najpierw policz każdą część, potem zdecyduj, co przyciąć lub streścić.
Porównanie modeli dla własnego języka
Ten sam chiński fragment może w jednym słowniku zająć dwa razy więcej tokenów niż w innym. Koszty warto porównywać jako cena × liczba tokenów danego tekstu w tym modelu, a nie po samej cenie.
Rozmiar chunków RAG w tokenach
Rozmiar chunków do wyszukiwania zwykle ustala się w tokenach. Przed ustaleniem stałej długości chunka w znakach warto sprawdzić, ile tokenów zajmuje prawdziwy fragment w docelowym modelu.
Ustalenie, dlaczego prompt jest drogi
Tekst skopiowany ze stron internetowych, Worda czy PDF-ów często zawiera spacje o zerowej szerokości, spacje niełamiące i ciągi białych znaków, które kosztują tokeny, choć ich nie widać. Widok podziału je oznacza. Aby znaleźć każdy z tych znaków z nazwą i punktem kodowym, można użyć opcji „Pokaż niewidoczne znaki” w narzędziu Konwerter Unicode.

Jak tekst jest cięty na tokeny

BPE: scalanie od bajtów w górę
Każdy z pięciu słowników to byte-level BPE (byte pair encoding). Tekst zamienia się na bajty UTF-8, a potem sąsiednie kawałki są w ustalonej kolejności scalane w dłuższe wpisy słownika, aż nie da się już nic scalić. Kolejność wynika ze statystyk treningowych, dlatego ten sam tekst w każdym słowniku kończy się innym podziałem.
Dlaczego jeden znak to 2–3 tokeny
Popularny znak chiński zajmuje w UTF-8 3 bajty. Jeśli słownik go zawiera (albo zawiera słowo, w którym występuje), jest to jeden token; jeśli nie, zostaje w kawałkach bajtowych — dwa lub trzy tokeny. cl100k_base modelu GPT-4 jest najmniej przyjazny dla chińskiego: z 3 755 najczęstszych znaków kodowanych pojedynczo tylko 14,1% to jeden token, wobec 95,7% w DeepSeek i 99,9% w Qwen3.
Pretokenizacja: najpierw podział, potem scalanie
Przed BPE wyrażenie regularne tnie tekst na fragmenty, a scalanie nigdy nie przekracza granicy fragmentu. Reguły się różnią: GPT-4o i GPT-4 grupują cyfry po trzy, Qwen umieszcza każdą cyfrę w osobnym fragmencie, a DeepSeek najpierw wydziela ciągi znaków chińskich i kany (tylko do U+9FA5; późniejsze znaki podlegają regule ogólnej). To narzędzie odtwarza każdą regułę i przypina klasy znaków do Unicode 16 — wersji, której używają implementacje referencyjne — dzięki czemu wyniki nie zmieniają się razem z wersją Unicode w przeglądarce.
Tokeny czystego tekstu a liczby z API
Wyniki dotyczą samego tekstu: bez tokenu początku sekwencji i bez szablonu czatu. API opakowują każdą wiadomość w szablon: funkcja licząca z OpenAI Cookbook dolicza 3 tokeny na wiadomość, nazwę roli i 3 tokeny otwierające odpowiedź — przy jednej wiadomości około 7 dodatkowych; w oficjalnej dokumentacji Qwen 你好 to sam w sobie 1 token, a po opakowaniu 11; DeepSeek nie dokumentuje, czy prompt_tokens obejmuje jego szablon. Odpowiedź modelu i jego rozumowanie są rozliczane jako tokeny wyjściowe.
Skąd pochodzą słowniki
o200k_base i cl100k_base pochodzą z plików słowników, które OpenAI publikuje dla tiktoken; DeepSeek — z pliku tokenizer.json w oficjalnym repozytorium DeepSeek-V4.1-Flash-1017 na Hugging Face (MIT); Qwen — z oficjalnych repozytoriów Qwen3-8B i Qwen3.6-35B-A3B (Apache-2.0). Narzędzie zachowuje tylko to, czego potrzebuje tokenizacja — bajty każdego tokenu i kolejność scalania — czyli 0,4–2,2 MB na słownik, pobierane z tej witryny przy pierwszym użyciu. Źródła i licencje są wymienione w pliku THIRD_PARTY_NOTICES.txt obok plików.

Wskazówki do szacowania tokenów

Licz słownikiem modelu docelowego
Liczenie zużycia DeepSeek lub Qwen tokenizerem GPT może przy chińskim tekście dać wynik różniący się dwukrotnie. W przypadku Qwen trzeba też wybrać właściwą generację: modele od Qwen3.5 wzwyż korzystają z wiersza „Qwen3.5 / 3.6 / 3.8”.
Zostaw miejsce na szablony i odpowiedź
Wynik dla czystego tekstu to dolna granica. Licząc kontekst i koszt, trzeba doliczyć narzut szablonu na każdą wiadomość, prompt systemowy i oczekiwaną długość odpowiedzi; rozumowanie modelu rozumującego też liczy się jako wyjście.
Kalibruj według pola usage z API
Po wdrożeniu miarodajne jest usage zwracane przez API. Wystarczy policzyć tu ten sam prompt i porównać z prompt_tokens: różnica to narzut szablonu, który można doliczać do kolejnych szacunków.
Dziel na chunki według tokenów, nie znaków
Rozmiary chunków RAG i limity przycinania warto ustawiać w tokenach. Tekst wielojęzyczny, kod i liczby mocno zmieniają stosunek znaków do tokenów.
Usuń niewidoczne znaki przed wysłaniem
Tekst skopiowany ze stron lub dokumentów warto obejrzeć w widoku podziału. Spacje o zerowej szerokości, spacje niełamiące i ciągi białych znaków zużywają tokeny na nic. Z całych stron internetowych warto najpierw usunąć znaczniki i style narzędziem HTML na Markdown, a dopiero wynik wysłać do modelu.

Licznik tokenów — najczęściej zadawane pytania

Czym jest licznik tokenów (licznik tokenów LLM)?
Licznik tokenów dzieli tekst na tokeny własnym tokenizerem danego modelu językowego i je liczy, co pozwala oszacować koszt API i długość kontekstu. Tutaj wystarczy wkleić tekst do pola (albo otworzyć plik tekstowy): tabela pokazuje naraz liczbę tokenów dla DeepSeek, obu generacji Qwen, GPT-5 / GPT-4o i GPT-4, sekcja „Jak tekst jest dzielony” oznacza każdy token, a po wpisaniu ceny narzędzie oszacuje koszt wejścia. Bez rejestracji.
Ile tokenów to jeden znak chiński? Czy 0,6 podawane przez DeepSeek się zgadza?
Według pomiarów na chińskiej prozie z tej witryny DeepSeek zużywa około 0,77–0,79 tokenu na znak chiński, czyli około 0,62 na znak, gdy interpunkcję i spacje liczy się jako znaki. Własna dokumentacja DeepSeek podaje „1 znak chiński ≈ 0,6 tokenu”, co odpowiada drugiemu sposobowi liczenia. Częste słowa scalają się w jeden token; rzadkie znaki dzielą się na dwa (na przykład 龘). Liczby dla pozostałych modeli są wyżej, w szybkich odpowiedziach.
API podaje inną liczbę. Czy wynik jest błędny?
Narzędzie liczy sam tekst i zgadza się ID po ID z oficjalnymi tokenizerami. Wartość prompt_tokens zwracana przez API obejmuje też znaczniki ról i separatory, które szablon czatu dodaje do każdej wiadomości: w udokumentowanym przykładzie Qwen 你好 to sam w sobie 1 token, a rozliczany jest jako 11. Liczą się także prompty systemowe, definicje narzędzi i wcześniejsze wiadomości. Stała różnica to narzut szablonu — można nią skalibrować kolejne szacunki.
Jakiego słownika używają DeepSeek V4, R1, Qwen3.6 i GPT-5?
Bazowy słownik DeepSeek jest identyczny w V3, R1, V3.1 i V3.2 aż po V4 i V4.1; różnią się tylko tokeny specjalne. Qwen ma dwie generacje: Qwen3.5, 3.6 i 3.8 używają nowego słownika 248K, a Qwen3, Qwen2.5 i QwQ — słownika 151K (to słowniki z otwartych wag; dokumentacja Alibaba Cloud nie podaje, którego z nich używają modele hostowane w Model Studio). W przypadku OpenAI, zgodnie z mapą modeli w tiktoken: GPT-5, GPT-4.1, GPT-4o, o1, o3 i o4-mini używają o200k_base; GPT-4, GPT-3.5 Turbo i text-embedding-3 — cl100k_base.
Dlaczego GPT-4 potrzebuje na chiński tekst o tyle więcej tokenów niż GPT-4o?
cl100k_base modelu GPT-4 ma około 100 000 wpisów, w tym niewiele chińskich, więc wiele znaków zajmuje dwa lub trzy tokeny na poziomie bajtów; o200k_base modelu GPT-4o ma około 200 000 wpisów i wiele chińskich słów. Przykład „Chiński” z tej strony to 156 tokenów w GPT-4 i 111 w GPT-4o.
Dlaczego liczby kosztują w Qwen tyle tokenów?
Pretokenizer Qwen umieszcza każdą cyfrę w osobnym fragmencie, więc 1234567 to 7 tokenów; DeepSeek i GPT grupują cyfry po trzy i potrzebują 3. Tekst pełen liczb, jak tabele, faktury i logi, liczy się w Qwen wyraźnie wyżej.
Czy tekst jest wysyłany na serwer?
Nie jest wysyłany na nasze serwery. Tokenizacja odbywa się w wątku w tle w przeglądarce; jedyne pliki, które narzędzie pobiera, to słowniki — z tej witryny, przy pierwszym użyciu.
Czy końce wiersza zmieniają liczbę tokenów?
Tak, najbardziej w DeepSeek: dzieli on windowsowy koniec wiersza \r\n na dwa tokeny, więc ten sam kod z końcami wiersza CRLF kosztuje około 15% więcej, wobec niecałych 0,5% w pozostałych słownikach. Pole tekstowe w przeglądarce zamienia wklejone końce wiersza na \n, więc wklejony tekst jest liczony z LF; pliki wczytane przez „Otwórz plik” zachowują oryginalne końce wiersza i BOM.
Jak liczone są znaczniki takie jak <|im_start|> czy <think>?
Jak zwykły tekst, podzielony na kilka tokenów — tak samo jak encode_ordinary w tiktoken — a strona informuje, gdy tekst je zawiera. Przy samodzielnym hostowaniu otwartego modelu serwer inferencji zwykle odczytuje każdy z nich jako pojedynczy token specjalny, więc jego wynik będzie niższy.
Jak liczone są tokeny rozumowania (thinking) w modelach rozumujących?
Rozumowanie generuje model, więc przed wywołaniem nie da się go poznać; to narzędzie liczy tekst, który już istnieje. Dokumentacja Qwen podaje, że rozumowanie jest rozliczane jako tokeny wyjściowe; w przypadku innych modeli rozumujących trzeba sprawdzić dokumentację danego dostawcy. Rozumowanie bywa dłuższe niż sama odpowiedź, więc warto zaplanować na nie osobny budżet.
Jak długi może być tekst?
Nie ma sztywnego limitu; granicą jest pamięć przeglądarki. W naszym teście 200 000 znaków chińskich zostało policzonych w mniej niż sekundę po wczytaniu słowników. Przy bardzo długim tekście widok podziału pokazuje pierwsze 2 000 tokenów, a wyniki zawsze obejmują całość. Otwierane pliki mogą mieć do 20 MB.
Czy tiktoken policzy tokeny DeepSeek lub Qwen?
Nie. tiktoken zawiera tylko słowniki OpenAI (o200k_base, cl100k_base); użyty do DeepSeek lub Qwen myli się przy chińskim tekście mniej więcej dwukrotnie (przykład „Chiński” z tej strony: 156 w cl100k_base, 75 w DeepSeek). Dla DeepSeek i Qwen wystarczy wczytać oficjalny tokenizer przez Hugging Face transformers i przekazać add_special_tokens=False, aby uzyskać ten sam wynik dla czystego tekstu co w tym narzędziu; dokumentacja API DeepSeek oferuje też na stronie o zużyciu tokenów pakiet z tokenizerem offline.

Powiązane narzędzia

Zobacz wszystkie narzędzia →

Konwerter wielkości liter — UPPER, lower, camelCase

Przetwarzanie tekstu

Konwertuj tekst między UPPERCASE, lowercase, Title Case, Sentence case, camelCase, PascalCase, snake_case, kebab-case, CONSTANT_CASE i 6 innymi formatami natychmiast. Za darmo, w przeglądarce, bez rejestracji.

Generator Lorem Ipsum — darmowy tekst zastępczy

Przetwarzanie tekstu

Generuj tekst zastępczy Lorem Ipsum natychmiast — według akapitów, zdań, słów, bajtów lub listy. Kopiuj lub pobieraj jako zwykły tekst, HTML, Markdown lub JSON. W 100% darmowe, prywatne, w przeglądarce. Bez rejestracji.

Darmowy Regex Tester — dopasuj i debuguj wzorce online

Przetwarzanie tekstu

Testuj wzorce regex natychmiast względem dowolnego tekstu. Podświetlanie dopasowań na żywo, grupy przechwytujące, podgląd zamiany, podział oraz wyjaśniacz wzorca. Regex w wariancie JavaScript, w 100% prywatnie, bez rejestracji.

Usuń zduplikowane wiersze z tekstu

Przetwarzanie tekstu

Usuń zduplikowane wiersze z tekstu online — za darmo, w 100% w przeglądarce. Ignoruj wielkość liter lub białe znaki, zachowaj pierwsze lub ostatnie wystąpienie i zobacz, ile duplikatów usunięto. Także sortuj. Bez rejestracji.

Generator slugów URL — zamień tekst na slug

Przetwarzanie tekstu

Zamień dowolny tytuł na czysty, przyjazny SEO slug URL w jednej chwili. Transliteruj akcenty i cyrylicę albo zachowaj litery Unicode. 100% prywatnie, w przeglądarce.

Sortuj wiersze tekstu alfabetycznie i naturalnie

Przetwarzanie tekstu

Sortuj wiersze tekstu alfabetycznie, numerycznie (kolejność naturalna) lub według długości — rosnąco lub malejąco. Darmowy sorter online, w 100% w przeglądarce. Także usuwaj duplikaty, odwracaj i czyść listy. Bez rejestracji.