プレフィックスキャッシュ
多数のリクエストが共有するプロンプトの冒頭部分のKVキャッシュを保持しておき、同じシステムプロンプトを1日に1万回も再計算するのをやめる仕組み。
本番環境で言語モデルに送られるトラフィックは、ほぼすべて冒頭が共通している。システムプロンプト、いくつかの例示、複数の質問が向けられる同じ文書などだ。アテンションは因果的なので、それらのトークンのキーとバリューは後ろに続く内容に依存せず、一度計算すれば再利用できる。実装では、系列をブロックに分割し、各ブロックのトークン内容をハッシュ化して共有テーブルから一致を探す。vLLMはこれを自動プレフィックスキャッシュと呼び、SGLangは基数木（radix tree）を軸にしたRadixAttentionを作った。効果は主に最初のトークンまでの時間に表れ、長い共通プレフィックスでは桁違いに短縮されることもある。