tiktoken
OpenAIのBPEトークナイザ。Rustで書かれ、Pythonバインディングを持つ。呼び出しの前に、いくらかかるかを調べるための道具である。
2022年に公開され、「これは何トークンか」への定番の答えとなった。純Pythonの実装より桁違いに速く、モデルが実際に見るものと完全に一致する結果を返すからだ。エンコーディングはモデルファミリーごとに異なり、GPT-3.5とGPT-4にはcl100k_base、それ以降のモデルにはo200k_baseが使われる。事前に数えるべき理由は2つある。請求がトークン単位であることと、コンテキストウィンドウを超えた呼び出しは親切に切り詰められず、拒否されることだ。トークン化はモデル固有なので、tiktokenの数値は、ClaudeやLlamaのトークナイザが同じ文章をどう分割するかについては何も教えてくれない。