トークンコスト
LLMの料金単位。1トークンは英単語約0.75語、約4バイトに相当する。BPEの語彙が英語に偏っているため、スウェーデン語は英語より高くつく(トークン/語の比が約1.5対0.75)。
トークナイザーによって分割は異なり、GPT-4のcl100k、Claude、Llamaはそれぞれ違う。「Hello world」はGPT-4で2トークンだが、スウェーデン語の「Hej världen」は4トークンになる。コードはPythonの1行でおよそ5〜10トークンだ。
日本語やアラビア語などの非ラテン文字は、cl100k_base以前ははるかに高かった。古いGPT-3 davinciでは日本語が5倍近くかかることもあった。200Kコンテキストの呼び出しが200Kトークン分の料金になるわけではなく、払うのは実際に送った分だけだ。キャッシュ(Anthropic、Google)を使えば、再読み込みされる先頭部分は5〜10分の1の料金で済む。