Skip to content

トークン数カウンター（DeepSeek・Qwen・GPT 対応）

DeepSeek・Qwen・GPT のトークン数を各社公式のトークナイザーで正確に計算。文字数からの推定ではありません。テキストを貼り付けると 5 つの語彙を並べて比較でき、漢字 1 字が何トークンか、どこで区切られるかもすべて確認できます。無料、ブラウザ内で動作します。

ブラウザで動作 無料
各社公式の語彙を使ってブラウザ内でトークン化します。テキストが当サイトのサーバーに送信されることはありません。
例：

文字数
0
漢字
0
UTF-8 バイト
0
モデル トークン数 1 文字あたりのトークン
DeepSeek V4 / V3 / R1 DeepSeek · 128K —
Qwen3.5 / 3.6 / 3.8 Qwen · 248K —
Qwen3 / Qwen2.5 / QwQ Qwen · 151K —
GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base —
GPT-4 / GPT-3.5 Turbo cl100k_base —

これはテキストそのもののトークン数です。API 呼び出しでは各メッセージを包むチャットテンプレートも数えられるため、返される prompt_tokens は通常これより少し多くなります。

テキストの分割結果

テキストを入力または貼り付けると、すべてのトークンが表示されます。

プロバイダーの料金ページに記載された入力単価を入力してください。価格は変わるため、ツールには組み込んでいません。

5 つの語彙すべての出力を、26,714 件のテストテキスト（388 万文字）と Unicode バージョン境界の文字セットについて Hugging Face tokenizers 0.23.3 および OpenAI tiktoken 0.14.0 と ID 単位で比較し、一致を確認しました。このページの例に出てくる数値も、すべて同じ参照実装で確認しています。1 文字あたりの比率は、このサイト自身のテキスト（ブログ本文の漢字 29,500 字とツール解説の 52,500 字）での測定値です。モデルと語彙の対応は、tiktoken のモデル対応表と各社公式リポジトリのファイル単位の比較に基づき、2026 年 11 月に確認しました。 — Go Tools エンジニアリングチーム · 2026年11月8日

Go Tools エンジニアリングチームが構築し、検証しています。

トークン換算の早見表

1 トークンは何文字ですか？

英語なら 1 トークンあたり約 4 文字 語彙と言語によって変わります。このサイト自身のテキスト（中国語の漢字約 8.2 万字）で測定したところ、英語では 1 トークンあたり約 4.3〜4.4 文字、1 単語あたり約 1.4 トークンでした。中国語の文章では、漢字 1 字あたり DeepSeek と Qwen3.5 で約 0.8、Qwen3 で 0.9、GPT-4o で 1.0、GPT-4 で 1.3 トークンです。

中国語 1 万字は何トークンですか？

DeepSeek で約 6,300、GPT-4 で約 10,000 句読点も文字として数え、このサイトの中国語の文章で測定した値は、DeepSeek で約 6,200〜6,300、Qwen3.5 で 6,400〜6,500、Qwen3 で 7,000〜7,200、GPT-4o で 7,700、GPT-4 で 10,300〜10,500 です。コードや数字の多いテキストはさらに増えます。

なぜ中国語は英語よりトークンが多くなるのですか？

同じ文章で英語は 59〜60、中国語は 71〜156 トークン このページの「中国語」と「英語」の例は同じ文章です。英語版は 5 つの語彙すべてで 59〜60 トークン、中国語版は Qwen3.5 で 71、DeepSeek で 75、Qwen3 で 84、GPT-4o で 111、GPT-4 で 156 トークンと、18%〜160% 多くなります。英語は語彙による差が小さく（このサイトのテキストで 1 単語あたり約 1.4 トークン）、中国語は語彙に中国語のエントリがどれだけあるかで決まります。エントリが少ない語彙（GPT-4 の cl100k_base）では、多くの文字が 2〜3 個のバイトレベルのトークンに分解されます。

トークンとはどんな単位ですか？

モデルがテキストを分割し、課金する最小単位 トークンは言語モデルがテキストを切り分ける最小の単位で、API の課金やコンテキストウィンドウの単位でもあります。単語、単語の一部、1 文字、フレーズ、あるいは 1 文字の数バイトになることもあり、どうなるかは各モデルの語彙が決めます。

Claude、Gemini、Doubao のトークンも数えられますか？

トークナイザーは非公開、公式のカウント API のみ 正確には数えられません。Claude は Claude 3 以降トークナイザーを公開しておらず、代わりに Anthropic が count_tokens API を用意しています（ドキュメントには、Claude 4.7 以降は新しいトークナイザーを使い、同じテキストでもトークン数が約 30% 多くなるとも書かれています）。Gemini と Doubao も同様に公式 API で数えます。Doubao には、Volcano Engine Ark のコンソールに公式のトークン計算ツールもあります（ログインが必要）。このツールで扱うのは、公式の語彙が公開されていて ID 単位で一致するモデルだけです。

トークンとは？

トークンは言語モデルが読み書きする単位であり、API の課金やコンテキストウィンドウの大きさもこの単位で測られます。モデルは文字や漢字を直接見ているわけではありません。まずトークナイザーがテキストを語彙にある断片に切り分け、各断片を整数の ID に変換します。よく使う単語やフレーズは語彙に専用のエントリがあって 1 トークンで済みますが、語彙にないものは UTF-8 のバイトに分解されるため、漢字 1 文字に 2〜3 トークンかかることもあります。つまりトークン数は語彙によって決まります。DeepSeek と Qwen は 人工智能（人工知能）を 1 トークンとして持っていますが、GPT-4o では 2 つに分かれます。一方、GPT-4 の cl100k_base は中国語のエントリが少なく、下の文に 12 トークンが必要で、DeepSeek の 5 トークンの 2 倍を超えます。以下はこのツールでの実際の分割結果です。

文本：人工智能正在改变世界。（11 个字符）

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

このトークン数カウンターでできること

Qwen の 2 つの語彙をどちらも正確に計算

Qwen3.5・3.6・3.8 は分割ルールの異なる 248K の新しい語彙に切り替わり、Qwen3・Qwen2.5・QwQ は 151K の語彙のままです。どちらも公式オープンウェイトの tokenizer.json から取り込み、別々に計算します。GPT のトークナイザーで近似することはありません。

公式の語彙を ID 単位で検証

DeepSeek は公式の語彙（V3 から V4.1 まで共通）、GPT は OpenAI の o200k_base と cl100k_base を使います。26,714 件のテストテキスト（15 言語の文章、コード、空白文字、Unicode バージョン境界の文字を含む計 388 万文字）を Hugging Face tokenizers および OpenAI tiktoken と ID 単位で比較し、5 つの語彙すべてで一致しました。

5 つのモデルを並べて比較

1 回貼り付けるだけで 5 つの数値が出るので、どのモデルが最も少ないトークン数でテキストを処理できるかがひと目で分かります。1 文字あたりのトークン数の列を使えば、長さの違うテキストも公平に比べられます。

すべてのトークンを可視化

分割表示では各トークンを色分けし、ID も表示できます。複数のバイトレベルのトークンが組み合わさって初めて完全な文字になる場合は、文字化けしたバイトを見せる代わりに 1 つの点線ブロックにまとめます。ゼロ幅スペースなどの見えない文字は ⟨U+200B⟩ のようにコードポイントで表示します。

ファイルはそのままの形で計算

開いたファイルは元の CRLF 改行と BOM を保持します。DeepSeek は Windows の改行 \r\n を 2 トークンに分割するため、同じコードでも CRLF 改行だと約 15% 多くかかります。入力欄に貼り付けたテキストは、ブラウザが保持する LF 改行で計算します。

ブラウザ内で動作

トークン化はバックグラウンドスレッド（Web Worker）で行い、テキストが当サイトのサーバーに送信されることはありません。語彙の読み込み後は中国語 20 万字を 1 秒未満で計算でき、入力欄の操作も重くなりません。

コードでトークン数を数える

tiktoken (Python)

len(tiktoken.get_encoding("o200k_base").encode_ordinary(text))

OpenAI 公式のライブラリで、OpenAI の語彙専用です。GPT-5 や GPT-4o の入力トークンを数えるには最も直接的な方法ですが、DeepSeek や Qwen は数えられません。

transformers AutoTokenizer

AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False)

DeepSeek や Qwen などオープンモデルの公式トークナイザーを読み込みます。初回実行時に Hugging Face から語彙ファイルをダウンロードします。

DeepSeek のオフライントークナイザー

DeepSeek API ドキュメントのトークン使用量ページ

transformers と組み合わせて使う公式のオフライントークナイザーです。語彙はこのツールの DeepSeek の行と同じです。

公式のカウント API

Anthropic messages/count_tokens, Gemini countTokens, OpenAI responses/input_tokens

トークナイザーが公開されていないモデルでは唯一の方法で、結果にはチャット形式のオーバーヘッドも含まれます。リクエストと API キーが必要で、テキストは各社に送られます。

このトークン数カウンター

貼り付けて 5 つの数値を見るだけ

コードも依存関係も不要で、プロンプト 1 つの確認やモデルの比較に便利です。バッチ処理には上のライブラリを使ってください。

トークン計算の例：同じテキスト、5 通りの分割

同じ中国語の文章で、モデルによって 2 倍の差

このページの「中国語」の例をクリック：117 文字の日常的な文章（漢字 106 字）
DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

漢字 1 字あたりでは Qwen3.5 が約 0.67、DeepSeek が 0.71、Qwen3 が 0.79、GPT-4o が 1.05、GPT-4 が 1.47 トークンです。「英語」をクリックすると同じ文章の英語版になり、5 つとも 59〜60 に収まります。

数字：Qwen は 1 桁ごとに 1 トークン

订单金额 12345.67 元，共 2026 件
DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   （数字も同じように分割）
GPT-4o        13   …[123][45][.][67][ 元][，共]…
GPT-4         16   …[123][45][.][67]…

Qwen はどちらの世代も数字を 1 桁ずつ分割しますが、DeepSeek と GPT は 3 桁ずつまとめます。表、請求書、ログなど数字の多いテキストは、Qwen では目に見えて高くつきます。

見えないゼロ幅スペース

你​好​世​界（文字の間に U+200B ゼロ幅スペースが 3 つ）
なし: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
あり: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

ゼロ幅スペースが 你好 と 世界 を分断するため、各文字がそれぞれ 1 トークンになり、ゼロ幅スペースも 1 つにつき 1 トークンを消費します。Web からコピーしたテキストによく含まれており、分割表示では ⟨U+200B⟩ と表示されます。

絵文字：新しい語彙のほうが高くつく

👍🎉
DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

Qwen3 の旧語彙は 2 つの絵文字をどちらも丸ごと持っていますが、248K の新語彙では UTF-8 のバイトに戻るため、4 バイトの絵文字が 3 トークンになります。新しい語彙がどこでも安いとは限りません。実際のテキストで数えてください。

トークン数カウンターの使い方

  1. 1

    テキストを貼り付ける

    プロンプト、ドキュメント、コードを貼り付けるか、「ファイルを開く」で .txt、.md、.json、.csv などのテキストファイルを読み込みます。手元にテキストがなければ、例のどれかをクリックしてください。初回の計算時に、このサイトから 5 つの語彙（gzip 圧縮で各 0.4〜2.2 MB）をダウンロードします。ページを開いている間は再ダウンロードしません。

  2. 2

    5 つの数値を見る

    表には DeepSeek、Qwen3.5/3.6/3.8、Qwen3/Qwen2.5、GPT-5/GPT-4o、GPT-4/GPT-3.5 のトークン数と、1 文字あたりの平均トークン数が一度に表示されます。その上には文字数、漢字数、UTF-8 バイト数が出るので、文字数ベースの見積もりと比べられます。

  3. 3

    分割を確かめる

    「テキストの分割結果」の下にある色付きのブロック 1 つが 1 トークンです。点線の枠は、複数のバイトレベルのトークンが組み合わさって初めて完全な文字になることを示します。「トークン ID を表示」をオンにすると、API や tiktoken が返す ID と照合できます。表の行をクリックするとモデルを切り替えられます。

  4. 4

    コストを見積もる

    選択中のモデルの 100 万トークンあたりの入力単価を入力すると、このテキストを入力したときのコストが表示されます。価格表は内蔵していません。各社は価格を頻繁に改定し、ピーク時間帯やキャッシュヒットで料金を分けているため、その時点の料金ページの数字を使ってください。

トークン計算でよくある間違い

トークン数を「文字数 × 定数」で見積もる

定数が当てはまるのは 1 種類のテキストだけです。同じ 24 文字の 订单金额 12345.67 元，共 2026 件 でも、GPT-4o では 13 トークン、Qwen では 22 トークンになります。数字が多いほど差は広がります。

✗ 誤り 
トークン数 ≈ 文字数 × 0.6
✓ 正しい 
対象モデルの語彙で実際に分割して数える

DeepSeek や Qwen に GPT のトークナイザーを使う

tiktoken に入っているのは OpenAI の語彙だけです。このページの「中国語」の例は cl100k_base で数えると 156 トークンですが、DeepSeek では 75 トークンで、見積もりが 2 倍も高くなります。

✗ 誤り 
tiktoken.get_encoding("cl100k_base")  # DeepSeek の計算に使用
✓ 正しい 
AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

テキストのトークン数を請求額とみなす

請求にはチャットテンプレート、システムプロンプト、出力、推論モデルの思考も含まれ、キャッシュヒットに別料金を設けているサービスもあります。入力テキストだけで見積もると低く出ます。

✗ 誤り 
コスト = プロンプトのトークン数 × 入力単価
✓ 正しい 
コスト = prompt_tokens × 入力単価 + completion_tokens × 出力単価

テキストに紛れ込んだ見えない文字

ゼロ幅スペース（U+200B）は語を分断します。你好世界 は DeepSeek で 2 トークンですが、文字の間にゼロ幅スペースが 3 つ入ると 7 トークンになります。

✗ 誤り 
你\u200b好\u200b世\u200b界   → 7 tokens
✓ 正しい 
你好世界   → 2 tokens

トークン数を数える必要がある場面

API コストを見積もる
リリース前に、典型的なプロンプト、システムプロンプト、検索で取得したコンテキストを貼り付けて、テキストそのもののトークン数を求めます。そこにメッセージごとのテンプレートのオーバーヘッド（「テキストのトークン数と API の数値」を参照）を足したものが 1 回の呼び出しの入力です。これに単価と呼び出し回数を掛ければ月額を見積もれます。
コンテキストウィンドウに収める
長いドキュメント、チャット履歴、検索結果はすぐに積み上がります。まずそれぞれのトークン数を数えてから、何を削り、何を要約するかを決めましょう。
自分の言語でモデルを比較する
同じ中国語の文章でも、語彙によってトークン数が 2 倍違うことがあります。コストは単価だけでなく、単価 × そのモデルでのテキストのトークン数で比べてください。
RAG のチャンクをトークン数で決める
検索用チャンクのサイズは通常トークン数で設定します。チャンクごとの文字数を固定する前に、実際の文章が対象モデルで何トークンになるかを確認しましょう。
プロンプトが高くつく原因を探る
Web ページ、Word、PDF からコピーしたテキストには、ゼロ幅スペース、ノーブレークスペース、連続した空白が含まれていることが多く、目に見えないままトークンを消費します。分割表示ではこれらに印が付きます。一つひとつを名前とコードポイントで特定するには、Unicode 変換ツールの「不可視文字を表示」を使ってください。

トークンの切り分け方

BPE：バイトから積み上げてマージ
5 つの語彙はすべてバイトレベル BPE（byte pair encoding）です。テキストを UTF-8 のバイト列に変換し、隣り合う断片を決まった順序でより長い語彙エントリへマージしていき、それ以上マージできなくなったら終了します。順序は学習時の統計で決まるため、同じテキストでも語彙ごとに異なる分割で止まります。
1 文字が 2〜3 トークンになる理由
よく使われる漢字は UTF-8 で 3 バイトです。語彙にその字（またはその字を含む語）があれば 1 トークン、なければバイト断片のまま残り、2〜3 トークンになります。中国語に最も不利なのは GPT-4 の cl100k_base で、中国語でよく使われる上位 3,755 字を 1 字ずつエンコードすると、1 トークンになるのはわずか 14.1% です。DeepSeek では 95.7%、Qwen3 では 99.9% に達します。
事前トークン化：先に区切ってからマージ
BPE の前に正規表現でテキストをチャンクに区切り、マージはチャンクの境界をまたぎません。ルールはそれぞれ異なります。GPT-4o と GPT-4 は数字を 3 桁ずつまとめ、Qwen はチャンクごとに数字 1 桁、DeepSeek はまず漢字とかなの連続を切り出します（U+9FA5 まで。それ以降の文字は一般のルールに従います）。このツールは各ルールを再現し、文字クラスを参照実装と同じ Unicode 16 に固定しているため、ブラウザの Unicode バージョンによって結果がぶれることはありません。
テキストのトークン数と API の数値
表示される数値はテキストそのもののトークン数で、シーケンス開始トークンもチャットテンプレートも含みません。API は各メッセージをテンプレートで包みます。OpenAI Cookbook のカウント関数は 1 メッセージにつき 3 トークン、ロール名、応答の開始を示す 3 トークンを加えるので、1 メッセージで約 7 トークン増えます。Qwen の公式ドキュメントでは、你好 は単体で 1 トークン、テンプレートで包むと 11 トークンです。DeepSeek は prompt_tokens にテンプレートが含まれるかどうかを明記していません。モデルの回答と思考は出力トークンとして課金されます。
語彙の出どころ
o200k_base と cl100k_base は OpenAI が tiktoken 用に公開している語彙ファイルから、DeepSeek は Hugging Face 上の公式 DeepSeek-V4.1-Flash-1017 リポジトリにある tokenizer.json（MIT）から、Qwen は公式の Qwen3-8B と Qwen3.6-35B-A3B リポジトリ（Apache-2.0）から取得しています。このツールが保持するのはトークン化に必要なもの、つまり各トークンのバイト列とマージ順序だけで、語彙 1 つあたり 0.4〜2.2 MB、初回利用時にこのサイトからダウンロードします。出典とライセンスは、ファイルと同じ場所にある THIRD_PARTY_NOTICES.txt に記載しています。

トークン数を見積もるコツ

対象モデルの語彙で数える
DeepSeek や Qwen の使用量を GPT のトークナイザーで数えると、中国語のテキストでは 2 倍ずれることがあります。Qwen は世代の選択にも注意してください。Qwen3.5 以降のモデルは「Qwen3.5 / 3.6 / 3.8」の行を使います。
テンプレートと出力の分を見込む
プレーンテキストのトークン数は下限です。コンテキストやコストを考えるときは、メッセージごとのテンプレートのオーバーヘッド、システムプロンプト、想定される出力の長さを足してください。推論モデルの思考も出力に数えられます。
API の usage フィールドで補正する
本番稼働後は API が返す usage を信頼してください。同じプロンプトをここで数えて prompt_tokens と比べれば、その差がテンプレートのオーバーヘッドです。今後の見積もりに足し込めます。
文字数ではなくトークン数で分割する
RAG のチャンクサイズや切り詰めの上限はトークン数で設定しましょう。複数の言語が混ざったテキスト、コード、数字は、文字数とトークン数の比率を大きく変えます。
送信前に見えない文字を取り除く
Web ページや文書からコピーしたテキストは、分割表示で確認しましょう。ゼロ幅スペース、ノーブレークスペース、連続した空白は、どれも無駄にトークンを消費します。Web ページを丸ごと送る場合は、先に HTML Markdown 変換ツールでタグやスタイルを取り除いてから、結果をモデルに送ってください。

トークン数カウンターのよくある質問

トークン数カウンター（LLM トークンカウンター）とは？
トークン数カウンターは、言語モデル自身のトークナイザーでテキストをトークンに分割して数えるツールで、API のコストやコンテキストの長さを見積もるのに使います。このページでは入力欄にテキストを貼り付ける（またはテキストファイルを開く）だけで、表に DeepSeek、Qwen の 2 世代、GPT-5 / GPT-4o、GPT-4 のトークン数が一度に表示され、「テキストの分割結果」ですべてのトークンを確認できます。単価を入力すれば入力コストも見積もれます。登録は不要です。
中国語 1 文字は何トークン？ DeepSeek の言う 0.6 は正しい？
このサイトの中国語の文章で測定すると、DeepSeek は漢字 1 字あたり約 0.77〜0.79 トークン、句読点や空白も文字として数えると 1 文字あたり約 0.62 トークンです。DeepSeek 自身のドキュメントには「中国語 1 文字 ≈ 0.6 トークン」とあり、後者の数え方と一致します。よく使う語は 1 トークンにまとまり、珍しい漢字は 2 つに分かれます（例：龘）。ほかのモデルの数値は上の早見表にあります。
API が返す数値と違います。計算が間違っているのですか？
このツールはテキストそのものを数えており、公式トークナイザーと ID 単位で一致します。API の prompt_tokens には、チャットテンプレートが各メッセージに付け加えるロールマーカーや区切り記号も含まれます。Qwen のドキュメントの例では、你好 は単体で 1 トークンですが、課金上は 11 トークンです。システムプロンプト、ツール定義、それまでのメッセージも数に入ります。差が一定なら、それがテンプレートのオーバーヘッドです。今後の見積もりの補正に使ってください。
DeepSeek V4、R1、Qwen3.6、GPT-5 はどの語彙を使っていますか？
DeepSeek の基本語彙は V3、R1、V3.1、V3.2 から V4、V4.1 まで同じで、違うのは特殊トークンだけです。Qwen には 2 つの世代があり、Qwen3.5・3.6・3.8 は新しい 248K の語彙、Qwen3・Qwen2.5・QwQ は 151K の語彙を使います（これはオープンウェイトの語彙で、Alibaba Cloud のドキュメントには、Model Studio でホストされているモデルがどちらを使うかは書かれていません）。OpenAI については tiktoken のモデル対応表によると、GPT-5、GPT-4.1、GPT-4o、o1、o3、o4-mini が o200k_base、GPT-4、GPT-3.5 Turbo、text-embedding-3 が cl100k_base です。
中国語で GPT-4 が GPT-4o よりずっと多くのトークンを使うのはなぜですか？
GPT-4 の cl100k_base は約 10 万エントリのうち中国語のものが少ないため、多くの文字が 2〜3 個のバイトレベルのトークンになります。GPT-4o の o200k_base は約 20 万エントリあり、中国語の語も多く含みます。このページの「中国語」の例は GPT-4 で 156 トークン、GPT-4o で 111 トークンです。
Qwen では数字のトークン数が多いのはなぜですか？
Qwen の事前トークナイザーは数字を 1 桁ずつ別のチャンクに入れるため、1234567 は 7 トークンになります。DeepSeek と GPT は 3 桁ずつまとめるので 3 トークンです。表、請求書、ログなど数字の多いテキストは、Qwen では目に見えて多く数えられます。
テキストはアップロードされますか？
当サイトのサーバーには送信されません。トークン化はブラウザ内のバックグラウンドスレッドで実行され、ツールがダウンロードするファイルは、初回利用時にこのサイトから取得する語彙だけです。
改行でトークン数は変わりますか？
変わります。特に DeepSeek で顕著で、Windows の改行 \r\n を 2 トークンに分割するため、同じコードでも CRLF 改行だと約 15% 多くなります。ほかの語彙では差は 0.5% 未満です。ブラウザの入力欄は貼り付けた改行を \n に変換するので、貼り付けたテキストは LF で数えられます。「ファイルを開く」で読み込んだファイルは元の改行と BOM を保持します。
<|im_start|> や <think> のようなマーカーはどう数えられますか？
通常のテキストとして複数のトークンに分割して数えます。tiktoken の encode_ordinary と同じ扱いで、テキストにこうしたマーカーが含まれているとページ上で通知します。オープンモデルを自前でホストしている場合、推論サーバーは通常それぞれを 1 つの特殊トークンとして読むため、そちらの数値のほうが小さくなります。
推論モデルの思考トークンはどう数えますか？
思考はモデルが生成するものなので、呼び出す前には分かりません。このツールが数えるのは手元にあるテキストです。Qwen のドキュメントには、思考は出力トークンとして課金されると明記されています。ほかの推論モデルについては各社のドキュメントを確認してください。思考は最終回答より長くなることが多いので、予算は別枠で見込んでおきましょう。
テキストはどのくらいの長さまで扱えますか？
決まった上限はなく、ブラウザのメモリ次第です。当サイトのテストでは、語彙の読み込み後、中国語 20 万字を 1 秒未満で計算できました。非常に長いテキストでは分割表示に最初の 2,000 トークンだけを表示しますが、数値は常にテキスト全体が対象です。開けるファイルは 20 MB までです。
tiktoken で DeepSeek や Qwen のトークン数を数えられますか？
数えられません。tiktoken に入っているのは OpenAI の語彙（o200k_base、cl100k_base）だけで、DeepSeek や Qwen に使うと中国語では約 2 倍ずれます（このページの「中国語」の例：cl100k_base で 156、DeepSeek では 75）。DeepSeek と Qwen は Hugging Face transformers で公式トークナイザーを読み込み、add_special_tokens=False を渡すと、このツールのプレーンテキストのカウントと一致します。DeepSeek の API ドキュメントでも、トークン使用量のページでオフライン用のトークナイザーパッケージが配布されています。

関連ツール

すべてのツールを見る →

ケース変換ツール — UPPERCASE、lowercase、camelCase ほか

テキスト処理

テキストを UPPERCASE、lowercase、Title Case、Sentence case、camelCase、PascalCase、snake_case、kebab-case、CONSTANT_CASE など 15 形式へ即座に変換。無料・ブラウザ完結・登録不要。

Lorem Ipsum ジェネレーター — 無料プレースホルダー生成

テキスト処理

Lorem Ipsum のプレースホルダーテキストを即座に生成 — 段落・文・単語・バイト・リスト単位で。プレーンテキスト、HTML、Markdown、JSON でコピーまたはダウンロード。100% 無料、プライバシー重視、ブラウザ内処理。登録不要。

無料の Regex テスター — パターンをオンラインでデバッグ & マッチ

テキスト処理

任意のテキストに対して regex パターンを即座にテストできます。リアルタイムのマッチハイライト、キャプチャグループ、置換プレビュー、分割、パターン解説に対応。JavaScript 系の正規表現を 100% プライベートに、登録不要で利用できます。

テキストから重複行を削除

テキスト処理

テキストから重複行をオンラインで削除 — 無料・即時・100% ブラウザ完結。大文字小文字や空白を無視、最初または最後の出現を保持し、削除した重複数を表示。ソートや整理も可能。登録不要。

URL スラッグ生成ツール — テキストをスラッグ化

テキスト処理

任意のタイトルやテキストを、SEO に強いクリーンな URL スラッグへ即座にスラッグ化。アクセント記号やキリル文字を ASCII に翻字、または Unicode 文字をそのまま維持。Convert ボタン不要、100% プライベートでブラウザ完結、登録不要。

テキスト行をアルファベット順・自然順にソート

テキスト処理

テキストの行をアルファベット順・数値対応の自然順・長さ順で、昇順または降順にソート。無料のオンライン行ソートツールで 100% ブラウザ完結。重複削除・逆順・リスト整理も可能。登録不要、アップロードなし。