トークンとは？

詳しい解説

トークンは LLM がテキストを処理する際の最小単位で、BPE（Byte Pair Encoding）というアルゴリズムでテキストを分割して生成されます。英語では1単語がおおむね1トークンに対応しますが、日本語はUTF-8エンコーディングの関係で1文字あたり2〜3トークンを消費します。つまり同じ内容を伝える場合、日本語は英語の2〜3倍のトークンコストがかかります。トークンには入力トークンと出力トークンがあり、料金体系が異なります。入力トークン（プロンプト、ファイル読み込み、コンテキスト）は比較的安価ですが、出力トークン（生成されたコード、説明文）は入力の数倍の単価が設定されています。Claude のコンテキストウィンドウは最大200Kトークンで、会話履歴・読み込んだファイル・生成結果のすべてがこの上限を共有します。上限に近づくと古いメッセージが切り捨てられるため、効率的なトークン利用が重要です。Claude Code では /cost コマンドでセッション内のトークン消費量と概算コストをリアルタイムに確認でき、Anthropic Console のダッシュボードでも月次の利用状況を把握できます。トークン節約のコツとしては、/compact コマンドで会話履歴を要約して圧縮する、大きなファイルの全体読み込みを避けて必要な箇所だけを指定する、プロンプトを具体的かつ簡潔に書く、などがあります。またモデル選択もコストに直結し、Opus は高精度だが高コスト、Sonnet はバランス型、Haiku は高速・低コストです。日常的なコード生成には Sonnet、複雑な設計判断には Opus、軽微な修正には Haiku と使い分けることで、品質を保ちながらコストを最適化できます。