Token数の見積もり：プロンプトとAPI費用の概算

プロンプトを貼り付けると、推定Token数と、入力した単価での概算費用が出ます。これはトークナイザーの正確な結果ではなく経験則ですが、コンテキストに収まるか、いくらかかるかの判断には十分です。

概算で足りる場面

作る前に必要なのは厳密なToken数ではなく、桁感です。

正確な数は実際に課金されるときにAPIが返します。事前の概算の役割は、ウィンドウに収まらないプロンプトを送ってしまうのを防ぐことです。

よく使われる経験則は、英語で約4文字に1Token、中国語で約1.5文字に1Token、誤差は±15％程度です。コード、JSON、日本語、絵文字は偏りが大きくなります。記号やマルチバイト文字の分かれ方が違うためです。

文字数とバイト数は別物です。漢字1文字はUTF-8で3バイトなので、ファイルサイズからの推測は当てになりません。入力と出力は別単価で、出力のほうが高いのが普通です。上限は入力＋出力であることも忘れないでください。

モデルごとにトークナイザーが異なるため、同じ文章でもGPTとClaudeで数が変わります。正確な数が必要なら、提供元のトークナイザーかAPIが返す使用量を使ってください。

画像、音声、ツール呼び出しは課金の仕組みが別で、ここには含まれません。

Tokenの見積もりはどのくらい正確ですか？

通常の文章なら±15％程度で、予算やコンテキストの確認には十分です。コードや表、日本語、絵文字ではもっとずれることがあります。正確な数が必要なら提供元のトークナイザーを使ってください。

中国語と英語でToken数はどれくらい違いますか？

中国語は同じ文字数でもTokenが多くなる傾向があり、経験則も約1.5文字に1Tokenと約4文字に1Tokenで異なります。同じ意味でも中国語のほうがTokenを多く使うことがあります。

実際の請求が概算より高いのはなぜですか？

概算はプロンプトだけを対象にしており、出力は単価が高いのが普通です。マルチターンの履歴、再試行、システムプロンプトも加算され、見落としやすい部分です。