عدد توكنات دقيق لـDeepSeek وQwen وGPT بمُقسِّم كل شركة نفسه، لا بتقدير من عدد الأحرف. الصق النص لتقارن خمسة معاجم جنباً إلى جنب وترى أين ينقسم كل توكن. مجاني ويعمل في متصفحك.
| النموذج | التوكنات | توكنات لكل حرف | المعجم |
|---|---|---|---|
| DeepSeek V4 / V3 / R1 DeepSeek · 128K | — | DeepSeek · 128K | |
| Qwen3.5 / 3.6 / 3.8 Qwen · 248K | — | Qwen · 248K | |
| Qwen3 / Qwen2.5 / QwQ Qwen · 151K | — | Qwen · 151K | |
| GPT-5 / GPT-4.1 / GPT-4o / o3 o200k_base | — | o200k_base | |
| GPT-4 / GPT-3.5 Turbo cl100k_base | — | cl100k_base |
هذه توكنات النص نفسه. أما استدعاء API فيحتسب أيضاً قالب المحادثة المحيط بكل رسالة، لذا تكون قيمة prompt_tokens التي يعيدها عادةً أعلى ببضعة توكنات.
اكتب نصاً أو الصقه لترى كل توكن.
أدخل سعر الإدخال من صفحة أسعار مزوّدك. الأسعار تتغير، لذا لا تثبّتها الأداة في الكود.
بناه وتحقّق منه فريق هندسة Go Tools.
نحو 4 أحرف إنجليزية لكل توكن يتوقف ذلك على المعجم واللغة. بالقياس على نصوص هذا الموقع (نحو 82,000 حرف صيني): يبلغ النص الإنجليزي نحو 4.3–4.4 حرف لكل توكن، أي نحو 1.4 توكن لكل كلمة؛ وفي النثر الصيني يكلّف الحرف الصيني نحو 0.8 توكن في DeepSeek وQwen3.5، و0.9 في Qwen3، و1.0 في GPT-4o، و1.3 في GPT-4.
نحو 6,300 في DeepSeek، و10,000 في GPT-4 مع احتساب علامات الترقيم أحرفاً، وبالقياس على النثر الصيني في هذا الموقع: نحو 6,200–6,300 في DeepSeek، و6,400–6,500 في Qwen3.5، و7,000–7,200 في Qwen3، و7,700 في GPT-4o، و10,300–10,500 في GPT-4. ويشغل الكود والنص الكثير الأرقام عدداً أكبر.
الفقرة نفسها: 59–60 توكناً بالإنجليزية، و71–156 بالصينية مثالا «الصينية» و«الإنجليزية» في هذه الصفحة فقرة واحدة. النسخة الإنجليزية 59–60 توكناً في المعاجم الخمسة كلها؛ أما الصينية فـ71 في Qwen3.5، و75 في DeepSeek، و84 في Qwen3، و111 في GPT-4o، و156 في GPT-4 — أي أكثر بنسبة 18% إلى 160%. ولا يتفاوت عدد توكنات الإنجليزية كثيراً بين المعاجم (نحو 1.4 توكن لكل كلمة في نصوص هذا الموقع)؛ أما في الصينية فيتوقف على عدد المدخلات الصينية في المعجم، والمعجم القليل منها (cl100k_base في GPT-4) يقسم كثيراً من الأحرف إلى 2–3 توكنات على مستوى البايت.
أصغر وحدة يقسم بها النموذج النص ويحتسب بها الفاتورة التوكن هو أصغر وحدة يقسم إليها النموذج اللغوي النص، وهو وحدة الفوترة في واجهات API ووحدة قياس نوافذ السياق. قد يكون كلمة، أو جزءاً من كلمة، أو حرفاً، أو عبارة، أو بضعة بايتات من حرف واحد — ومعجم كل نموذج هو الذي يقرّر.
لا مُقسِّم علنياً — واجهات العدّ الرسمية فقط ليس بدقة. لا يوجد لـClaude مُقسِّم توكنات علني منذ Claude 3؛ وتوفّر Anthropic بدلاً منه واجهة count_tokens (ويضيف توثيقها أن Claude 4.7 وما بعده تستخدم مُقسِّماً أحدث ينتج نحو 30% توكنات أكثر للنص نفسه). وكذلك تُعدّ توكنات Gemini وDoubao عبر واجهاتها الرسمية، ولـDoubao أيضاً حاسبة توكنات رسمية في وحدة تحكم Volcano Engine Ark (تتطلب تسجيل الدخول). ولا تدرج هذه الأداة إلا النماذج التي معجمها الرسمي علني ويتطابق معرّفاً بمعرّف.
التوكن (token) هو الوحدة التي يقرأ بها النموذج اللغوي ويكتب، وهو أيضاً الوحدة التي تُحتسب بها فواتير واجهات API وتُقاس بها نوافذ السياق. لا يرى النموذج الحروف أو الأحرف الصينية مباشرةً: إذ يقطع مُقسِّم التوكنات (tokenizer) النص أولاً إلى قطع موجودة في معجمه، ثم يحوّل كل قطعة إلى معرّف عددي صحيح. للكلمات والعبارات الشائعة مدخلات خاصة بها فتشغل توكناً واحداً؛ وكل ما ليس في المعجم يرجع إلى بايتات UTF-8، فقد يكلّف حرف صيني واحد توكنين أو ثلاثة. لذلك يتوقف العدد على المعجم. يخزّن DeepSeek وQwen كلمة 人工智能 (الذكاء الاصطناعي) توكناً واحداً ويقسمها GPT-4o إلى اثنين، بينما لا يضم معجم cl100k_base في GPT-4 إلا القليل من المدخلات الصينية، فيحتاج إلى 12 توكناً للجملة أدناه — أكثر من ضعف الـ5 التي يحتاجها DeepSeek. وفي ما يلي التقسيم الفعلي الذي تُخرجه هذه الأداة.
文本：人工智能正在改变世界。（11 个字符） DeepSeek V4 5 [人工智能][正在][改变][世界][。] Qwen3.5 / 3.6 5 [人工智能][正在][改变][世界][。] Qwen3 / 2.5 5 [人工智能][正在][改变][世界][。] GPT-5 / GPT-4o 6 [人工][智能][正在][改变][世界][。] GPT-4 12 [人][工][智×2][能][正在][改][变][世×2][界][。] ×2 表示这个字被拆成了 2 个字节级 token
انتقلت Qwen3.5 و3.6 و3.8 إلى معجم جديد بحجم 248K بقواعد تقسيم مختلفة؛ أما Qwen3 وQwen2.5 وQwQ فتحتفظ بمعجم 151K. كلاهما مأخوذ من ملف tokenizer.json في الأوزان المفتوحة الرسمية، ويُعدّ كلٌّ منهما على حدة — ولا يُقرَّب أيٌّ منهما بمُقسِّم GPT.
يستخدم DeepSeek معجمه الرسمي (المتطابق من V3 حتى V4.1)، ويستخدم GPT معجمَي o200k_base وcl100k_base من OpenAI. قارنّا 26,714 نصاً اختبارياً (3.88 مليون حرف بـ15 لغة، إضافة إلى الكود والمسافات البيضاء وأحرف واقعة عند حدود إصدارات Unicode) معرّفاً بمعرّف مع tokenizers من Hugging Face وtiktoken من OpenAI: المعاجم الخمسة كلها متطابقة.
لصقة واحدة تعطيك خمسة أعداد، فترى فوراً أي نموذج يعالج نصك بأقل عدد من التوكنات. ويقارن عمود «توكنات لكل حرف» بإنصاف بين نصوص مختلفة الأطوال.
يلوّن عرض التقسيم كل توكن ويمكنه إظهار معرّفه. وحين لا تكوّن عدة توكنات على مستوى البايت أحرفاً كاملة إلا مجتمعة، تُجمع في كتلة واحدة بإطار متقطّع بدلاً من عرض بايتات مشوّهة؛ أما الأحرف غير المرئية مثل المسافات صفرية العرض فتُكتب برمز نقطتها الترميزية، مثل ⟨U+200B⟩.
تحتفظ الملفات المفتوحة بفواصل الأسطر الأصلية CRLF وبعلامة BOM. ويقسم DeepSeek فاصل أسطر Windows (\r\n) إلى توكنين، فيكلّف الكود نفسه بنهايات أسطر CRLF نحو 15% أكثر. أما النص الملصق في المربع فيُعدّ بفواصل LF التي يُبقيها المتصفح.
يجري التقسيم في مسار تنفيذ بالخلفية (Web Worker)؛ ولا يُرسل نصك إلى خوادمنا. وبعد تحميل المعاجم يُعدّ نص من 200,000 حرف صيني في أقل من ثانية، ويبقى مربع النص سريع الاستجابة.
len(tiktoken.get_encoding("o200k_base").encode_ordinary(text)) المكتبة الرسمية من OpenAI، لمعاجم OpenAI فقط. أقصر طريق لعدّ توكنات الإدخال في GPT-5 وGPT-4o؛ ولا يمكنها عدّ توكنات DeepSeek أو Qwen.
AutoTokenizer.from_pretrained("Qwen/Qwen3.6-35B-A3B").encode(text, add_special_tokens=False) تحمّل المُقسِّمات الرسمية للنماذج المفتوحة مثل DeepSeek وQwen. ويُنزّل التشغيل الأول ملفات المعجم من Hugging Face.
المُقسِّم الرسمي الذي يعمل دون اتصال، ويُستخدم مع transformers. ومعجمه هو نفسه معجم صف DeepSeek في هذه الأداة.
messages/count_tokens من Anthropic، وcountTokens من Gemini، وresponses/input_tokens من OpenAI الطريقة الوحيدة للنماذج التي ليس لها مُقسِّم علني، وتشمل النتيجة عبء صيغة المحادثة. تحتاج إلى طلب ومفتاح API، ويذهب النص إلى الشركة المزوِّدة.
بلا كود وبلا اعتماديات — مناسب لفحص موجّه واحد أو للمقارنة بين النماذج. وللمهام المجمّعة استخدم المكتبات أعلاه.
انقر مثال «الصينية» في هذه الصفحة: فقرة يومية من 117 حرفاً (منها 106 أحرف صينية)
DeepSeek V4 75 Qwen3.5 / 3.6 71 Qwen3 / 2.5 84 GPT-5 / GPT-4o 111 GPT-4 156
لكل حرف صيني: نحو 0.67 توكن في Qwen3.5، و0.71 في DeepSeek، و0.79 في Qwen3، و1.05 في GPT-4o، و1.47 في GPT-4. وانقر «الإنجليزية» لترى الفقرة نفسها بالإنجليزية: تقع الأعداد الخمسة كلها بين 59 و60.
订单金额 12345.67 元，共 2026 件
DeepSeek V4 16 …[123][45][.][67]…[202][6]… Qwen3.5 22 …[1][2][3][4][5][.][6][7]…[2][0][2][6]… Qwen3 22 (تُقسَّم الأرقام بالطريقة نفسها) GPT-4o 13 …[123][45][.][67][ 元][，共]… GPT-4 16 …[123][45][.][67]…
يقسم جيلا Qwen كلاهما كل رقم على حدة، بينما يجمّع DeepSeek وGPT الأرقام ثلاثةً ثلاثة. لذا يكلّف النص الكثير الأرقام — الجداول والفواتير والسجلات — أكثر بشكل ملحوظ في Qwen.
你好世界 (ثلاث مسافات صفرية العرض U+200B بين الأحرف)
بدونها: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5 معها: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8
تفصل المسافات صفرية العرض 你好 و世界، فيصبح كل حرف توكناً مستقلاً، وتأخذ كل مسافة صفرية العرض توكناً إضافياً. وكثيراً ما يحتوي النص المنسوخ من الويب عليها؛ ويعرضها عرض التقسيم بالشكل ⟨U+200B⟩.
👍🎉
DeepSeek V4 3 Qwen3.5 6 Qwen3 2 GPT-4o 3 GPT-4 6
يخزّن معجم Qwen3 الأقدم الرمزين التعبيريين كاملين؛ أما معجم 248K الجديد فيُرجعهما إلى بايتات UTF-8، فيشغل الرمز التعبيري 3 توكنات، وطوله 4 بايتات. المعجم الأحدث ليس أرخص في كل الحالات — اعدد نصك الحقيقي.
الصق موجّهاً (prompt) أو مستنداً أو مقطعاً من الكود، أو استخدم «فتح ملف» لتحميل ملف .txt أو .md أو .json أو .csv أو غيره من الملفات النصية. ليس لديك نص الآن؟ انقر أحد الأمثلة. يُنزِّل العدّ الأول خمسة معاجم من هذا الموقع (0.4–2.2 ميغابايت لكل منها بعد ضغطها بـgzip)، ولا يُعاد تنزيلها ما دامت الصفحة مفتوحة.
يعرض الجدول عدد التوكنات في DeepSeek وQwen3.5/3.6/3.8 وQwen3/Qwen2.5 وGPT-5/GPT-4o وGPT-4/GPT-3.5 دفعة واحدة، إلى جانب متوسط التوكنات لكل حرف. وفوقه تجد عدد الأحرف والأحرف الصينية وبايتات UTF-8، لتقارنها بالتقديرات القائمة على عدد الأحرف.
كل كتلة ملوّنة تحت «كيف يُقسَّم النص» هي توكن واحد. والإطار المتقطّع يعني أن عدة توكنات على مستوى البايت لا تكوّن أحرفاً كاملة إلا مجتمعة. فعّل «إظهار معرّفات التوكنات» لتقارنها بالمعرّفات التي تعيدها واجهة API أو tiktoken. وانقر أي صف في الجدول للتبديل بين النماذج.
أدخل سعر الإدخال لكل مليون توكن للنموذج المحدد لتحصل على تكلفة هذا النص بوصفه إدخالاً. لا تأتي الأداة بقائمة أسعار — فالشركات تغيّر أسعارها كثيراً وتفرّقها بحسب ساعات الذروة وإصابات الذاكرة المؤقتة، فاعتمد الرقم المنشور في صفحة أسعارها اليوم.
الثابت لا يصح إلا لنوع واحد من النصوص. فالأحرف الـ24 نفسها 订单金额 12345.67 元，共 2026 件 تساوي 13 توكناً في GPT-4o و22 في Qwen — وكلما زادت الأرقام اتسعت الفجوة.
tokens ≈ characters × 0.6
قسّم النص بمعجم النموذج المستهدف ثم اعدد التوكنات
لا يأتي tiktoken إلا بمعاجم OpenAI. ومثال «الصينية» في هذه الصفحة يُعدّ 156 توكناً بـcl100k_base، بينما لا يحتاج DeepSeek إلا إلى 75 — أي تقدير أعلى من الحقيقة بالضعف.
tiktoken.get_encoding("cl100k_base") # يُستخدم لعدّ توكنات DeepSeek AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash") تشمل الفاتورة أيضاً قالب المحادثة وموجّه النظام والإخراج وتفكير نموذج الاستدلال؛ وبعض الخدمات تسعّر إصابات الذاكرة المؤقتة بسعر مختلف. لذا يأتي التقدير المبني على نص الإدخال وحده أقل من الحقيقة.
cost = prompt tokens × input price
cost = prompt_tokens × input price + completion_tokens × output price
تفصل المسافات صفرية العرض (U+200B) الكلمات: فـ你好世界 توكنان في DeepSeek، وتصير 7 توكنات حين تقع ثلاث مسافات صفرية العرض بين أحرفها.
你\u200b好\u200b世\u200b界 → 7 توكنات
你好世界 → 2 توكن
add_special_tokens=False لتطابق عدّ النص الخام في هذه الأداة؛ ويوفّر توثيق API لدى DeepSeek أيضاً حزمة مُقسِّم تعمل دون اتصال في صفحة استخدام التوكنات. معالجة النصوص
حوّل النص فوراً بين UPPERCASE وlowercase وTitle Case وcamelCase وsnake_case وkebab-case و9 صيغ أخرى. مجاني، يعمل بالمتصفح فقط، بلا تسجيل أو رفع.
معالجة النصوص
ولّد نص Lorem Ipsum النائب فوراً — حسب الفقرة أو الجملة أو الكلمة أو البايت أو القائمة. انسخه أو نزّله كنص عادي أو HTML أو Markdown أو JSON. مجاني وخاص وداخل المتصفح بالكامل. بلا تسجيل.
معالجة النصوص
اختبر أنماط regex فوراً مقابل أي نص. إبراز مطابقات حي، ومجموعات التقاط، ومعاينة استبدال، وتقسيم، ومُفسّر أنماط. بنكهة JavaScript، خاص 100٪، بلا تسجيل.
معالجة النصوص
احذف الأسطر المكررة من النص عبر الإنترنت — مجاناً وفوراً وبالمتصفح بالكامل. تجاهل حالة الأحرف أو المسافات، أبقِ على الظهور الأول أو الأخير، وشاهد كم مكرراً حُذف. افرز ونظّف أيضاً. بلا تسجيل.
معالجة النصوص
حوّل أي عنوان إلى slug رابط نظيف ومناسب لـ SEO فورًا، مع واصلات وأحرف صغيرة. ترجم اللكنات والسيريلية صوتيًا أو أبقِ حروف Unicode. خاص 100% داخل متصفحك.
معالجة النصوص
رتّب أسطر النص أبجدياً أو رقمياً (ترتيب طبيعي) أو حسب الطول، تصاعدياً أو تنازلياً. أداة فرز أسطر مجانية تعمل بالمتصفح بالكامل. احذف المكرر، اعكس، ونظّف القوائم. بلا تسجيل ولا رفع.