Token Counter

使い方

1. モデルに送る予定のテキストを入力欄に貼り付けます。
2. 4 つの統計ボックスが入力に合わせて更新されます：推定トークン数、文字数、語数、CJK 文字数。
3. 統計の下の説明に、現在使用している推定ルールを明記しています。
4. 「サンプルを試す」で英語と中国語の混合例を確認できます。
5. 「クリア」ですべてリセットします。

よくある用途

• プロンプトの予算管理 —— 送る前に長いプロンプトがコンテキストウィンドウに収まりそうか確認。
• コストの概算 —— トークン推定を課金 API のおおよその費用に換算。
• 言語間の比較 —— 同じ意味が、CJK 文字では英語の単語よりはるかに少ない文字数で済むことを見る。
• トークン化の解説 —— なぜ課金や上限が文字ではなくトークン単位なのかを説明する。

よくある質問

Q: 推定の精度はどのくらいですか？ A: 桁レベルの目安としてください。実際のトークナイザーは学習されたサブワード語彙を使うため、実カウントはモデルにより異なります。通常の文章なら本ページの経験則と 1～2 割程度の差に収まることが多いです。

Q: 語数はどう数えていますか？ A: 空白や句読点で区切られた英数字の連なりを 1 語とし、CJK 文字は 1 文字を 1 語として数えます。多くのテキストエディタが多言語テキストに使う集計方法です。

Q: 公式トークナイザーを使わないのはなぜですか？ A: 公式トークナイザーはモデルごとのライブラリで、ダウンロードと更新が必要です。本ページは正確なカウントと引き換えに、セットアップ不要・通信なしを実現しており、予算判断には十分です。