DeepSeek·Qwen·GPT 토큰 계산기

토큰 환산 빠른 참조

토큰이란 무엇인가요?

文本：人工智能正在改变世界。（11 个字符）

DeepSeek V4        5  [人工智能][正在][改变][世界][。]
Qwen3.5 / 3.6      5  [人工智能][正在][改变][世界][。]
Qwen3 / 2.5        5  [人工智能][正在][改变][世界][。]
GPT-5 / GPT-4o     6  [人工][智能][正在][改变][世界][。]
GPT-4             12  [人][工][智×2][能][正在][改][变][世×2][界][。]

×2 表示这个字被拆成了 2 个字节级 token

이 토큰 계산기의 기능

코드로 토큰 세기

토큰 계산 예시: 같은 텍스트, 다섯 가지 분할

이 페이지의 '중국어' 예시 클릭: 117자짜리 일상 문단(한자 106자)

DeepSeek V4        75
Qwen3.5 / 3.6      71
Qwen3 / 2.5        84
GPT-5 / GPT-4o    111
GPT-4             156

订单金额 12345.67 元，共 2026 件

DeepSeek V4   16   …[123][45][.][67]…[202][6]…
Qwen3.5       22   …[1][2][3][4][5][.][6][7]…[2][0][2][6]…
Qwen3         22   (숫자도 같은 방식으로 분할)
GPT-4o        13   …[123][45][.][67][ 元][，共]…
GPT-4         16   …[123][45][.][67]…

你​好​世​界 (글자 사이에 U+200B 너비 없는 공백 3개)

없을 때: DeepSeek 2 · Qwen3.5 2 · Qwen3 2 · GPT-4o 2 · GPT-4 5
있을 때: DeepSeek 7 · Qwen3.5 7 · Qwen3 7 · GPT-4o 7 · GPT-4 8

👍🎉

DeepSeek V4   3
Qwen3.5       6
Qwen3         2
GPT-4o        3
GPT-4         6

토큰 계산기 사용법

1. 1

   텍스트 붙여넣기

   프롬프트, 문서, 코드를 붙여넣거나 '파일 열기'로 .txt, .md, .json, .csv 같은 텍스트 파일을 불러오십시오. 당장 쓸 텍스트가 없다면 예시 중 하나를 클릭하면 됩니다. 처음 계산할 때 이 사이트에서 어휘 파일 5개(gzip 기준 각 0.4–2.2 MB)를 내려받으며, 페이지를 열어 두는 동안에는 다시 내려받지 않습니다.

2. 2

   토큰 수 다섯 개 확인

   표에 DeepSeek, Qwen3.5/3.6/3.8, Qwen3/Qwen2.5, GPT-5/GPT-4o, GPT-4/GPT-3.5의 토큰 수와 문자당 평균 토큰 수가 한꺼번에 표시됩니다. 그 위에는 문자 수, 한자 수, UTF-8 바이트 수가 나오므로 문자 수 기반 추정치와 비교할 수 있습니다.

3. 3

   분할 결과 살펴보기

   '텍스트 분할 결과' 아래의 색칠된 블록 하나가 토큰 하나입니다. 점선 테두리는 바이트 수준 토큰 여러 개가 모여야 비로소 온전한 문자가 된다는 뜻입니다. API나 tiktoken이 반환하는 ID와 대조하려면 '토큰 ID 표시'를 켜십시오. 표의 행을 클릭하면 모델이 바뀝니다.

4. 4

   비용 추정

   선택한 모델의 100만 토큰당 입력 가격을 넣으면 이 텍스트를 입력으로 보낼 때의 비용이 계산됩니다. 가격표는 내장하지 않았습니다. 업체들이 가격을 자주 바꾸고 피크 시간대나 캐시 적중 여부에 따라 요금을 나누므로, 그때그때 가격 페이지에 나온 숫자를 쓰십시오.

흔한 토큰 계산 실수

토큰 ≈ 문자 수 × 0.6

대상 모델의 어휘로 실제 분할해 세기

tiktoken.get_encoding("cl100k_base")  # DeepSeek 계산에 사용

AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4.1-Flash")

비용 = 프롬프트 토큰 × 입력 단가

비용 = prompt_tokens × 입력 단가 + completion_tokens × 출력 단가

你\u200b好\u200b世\u200b界   → 7 tokens

你好世界   → 2 tokens

토큰을 세야 하는 경우

API 비용 추정

출시 전에 대표적인 프롬프트, 시스템 프롬프트, 검색으로 가져온 컨텍스트를 붙여넣어 텍스트 자체의 토큰 수를 구하십시오. 여기에 메시지별 템플릿 오버헤드('텍스트 토큰 수와 API 수치' 참고)를 더한 것이 호출 한 번의 입력이며, 단가와 호출량을 곱하면 월간 비용을 추정할 수 있습니다.

컨텍스트 윈도우 안에 맞추기

긴 문서, 채팅 기록, 검색 결과는 금세 불어납니다. 각 부분을 먼저 세어 본 뒤 무엇을 잘라 내거나 요약할지 정하십시오.

내 언어로 모델 비교

같은 중국어 문단이라도 어휘에 따라 토큰이 두 배 차이 날 수 있습니다. 비용은 단가만 보지 말고 '단가 × 해당 모델에서 내 텍스트의 토큰 수'로 비교하십시오.

RAG 청크 크기를 토큰으로 정하기

검색용 청크 크기는 보통 토큰 수로 정합니다. 청크당 문자 길이를 고정하기 전에 실제 문단이 대상 모델에서 몇 토큰인지 확인하십시오.

프롬프트가 비싼 이유 찾기

웹 페이지, Word, PDF에서 복사한 텍스트에는 너비 없는 공백, 줄 바꿈 없는 공백, 연속된 공백이 섞여 있는 경우가 많고, 이들은 보이지 않으면서 토큰을 씁니다. 분할 보기에서 이런 문자가 표시됩니다. 각 문자를 이름과 코드 포인트로 찾으려면 유니코드 변환 도구의 '보이지 않는 문자 표시'를 쓰십시오.

토큰이 잘리는 방식

BPE: 바이트에서부터 병합

다섯 어휘는 모두 바이트 수준 BPE(byte pair encoding)입니다. 텍스트를 UTF-8 바이트로 바꾼 다음, 인접한 조각을 정해진 순서대로 더 긴 어휘 항목으로 병합하며, 더 병합할 것이 없으면 멈춥니다. 순서는 학습 통계에서 나오므로 같은 텍스트라도 어휘마다 다른 분할에서 멈춥니다.

한 글자가 토큰 2~3개가 되는 이유

자주 쓰는 한자는 UTF-8로 3바이트입니다. 어휘에 그 글자(또는 그 글자를 포함한 단어)가 있으면 토큰 1개, 없으면 바이트 조각으로 남아 토큰 2~3개가 됩니다. 중국어에 가장 불리한 것은 GPT-4의 cl100k_base로, 가장 많이 쓰는 한자 3,755자를 한 글자씩 인코딩하면 토큰 1개가 되는 비율이 14.1%에 그칩니다. DeepSeek은 95.7%, Qwen3은 99.9%입니다.

사전 토큰화: 먼저 자르고 나서 병합

BPE에 앞서 정규식이 텍스트를 청크로 자르며, 병합은 청크 경계를 넘지 않습니다. 규칙은 서로 다릅니다. GPT-4o와 GPT-4는 숫자를 세 자리씩 묶고, Qwen은 청크마다 숫자 한 자리만 두며, DeepSeek은 먼저 한자와 가나가 이어진 구간을 떼어 냅니다(U+9FA5까지만이며, 그 뒤의 문자는 일반 규칙을 따릅니다). 이 도구는 각 규칙을 재현하고 문자 클래스를 참조 구현과 같은 Unicode 16에 고정하므로, 브라우저의 Unicode 버전에 따라 결과가 달라지지 않습니다.

텍스트 토큰 수와 API 수치

표시되는 수치는 텍스트 자체의 토큰 수로, 시퀀스 시작 토큰과 채팅 템플릿을 포함하지 않습니다. API는 각 메시지를 템플릿으로 감쌉니다. OpenAI Cookbook의 계산 함수는 메시지마다 3토큰, 역할 이름, 응답 준비용 3토큰을 더하므로 메시지 하나에 약 7토큰이 추가됩니다. Qwen 공식 문서에서 你好는 단독으로 1토큰, 템플릿으로 감싸면 11토큰입니다. DeepSeek은 prompt_tokens에 템플릿이 포함되는지 문서에 밝히지 않았습니다. 모델의 답변과 사고 과정은 출력 토큰으로 과금됩니다.

어휘의 출처

o200k_base와 cl100k_base는 OpenAI가 tiktoken용으로 공개한 어휘 파일에서, DeepSeek은 Hugging Face의 공식 DeepSeek-V4.1-Flash-1017 저장소에 있는 tokenizer.json(MIT)에서, Qwen은 공식 Qwen3-8B와 Qwen3.6-35B-A3B 저장소(Apache-2.0)에서 가져왔습니다. 이 도구는 토큰화에 필요한 것, 즉 각 토큰의 바이트와 병합 순서만 담아 어휘당 0.4–2.2 MB이며, 처음 사용할 때 이 사이트에서 내려받습니다. 출처와 라이선스는 파일과 같은 위치의 THIRD_PARTY_NOTICES.txt에 정리되어 있습니다.

토큰 추정 팁

대상 모델의 어휘로 세기

DeepSeek이나 Qwen 사용량을 GPT 토크나이저로 세면 중국어 텍스트에서 두 배까지 어긋날 수 있습니다. Qwen은 세대도 맞게 고르십시오. Qwen3.5 이후 모델은 'Qwen3.5 / 3.6 / 3.8' 행을 봅니다.

템플릿과 출력 몫 남겨 두기

순수 텍스트의 토큰 수는 하한입니다. 컨텍스트와 비용을 따질 때는 메시지별 템플릿 오버헤드, 시스템 프롬프트, 예상 출력 길이를 더하십시오. 추론 모델의 사고 과정도 출력으로 계산됩니다.

API usage 필드로 보정하기

서비스를 시작한 뒤에는 API가 돌려주는 usage 값을 믿으십시오. 같은 프롬프트를 여기서 세어 prompt_tokens와 비교하면 그 차이가 템플릿 오버헤드이며, 이후 추정치에 더하면 됩니다.

문자가 아닌 토큰 기준으로 청크 나누기

RAG 청크 크기와 잘라 내기 한도는 토큰 수로 정하십시오. 여러 언어가 섞인 텍스트, 코드, 숫자는 문자와 토큰의 비율을 크게 바꿉니다.

보내기 전에 보이지 않는 문자 정리

웹 페이지나 문서에서 복사한 텍스트는 분할 보기로 확인하십시오. 너비 없는 공백, 줄 바꿈 없는 공백, 연속된 공백은 모두 쓸데없이 토큰을 씁니다. 웹 페이지 전체라면 먼저 HTML to Markdown 변환기로 태그와 스타일을 걷어 낸 뒤 결과를 모델에 보내십시오.

토큰 계산기 자주 묻는 질문