KVキャッシュ
処理済みトークンのアテンションの「キー」と「バリュー」のベクトルを保存し、新しいトークンを生成するたびに再計算しなくて済むようにするキャッシュ。自己回帰的なテキスト生成を高速に保つうえで不可欠。
LLMは1トークンずつ生成し、新しいトークンはアテンションを通じてそれまでの全トークンを「見る」必要がある。キャッシュがなければ、毎ステップ系列全体を再計算することになり(二乗の無駄)、これを避けるため過去トークンのキー/バリューを保存し、各ステップでは新トークンのベクトルだけを計算してキャッシュと照合する。
問題は、キャッシュが系列長とバッチサイズに比例して増え、長いコンテキストではメモリの主要な消費源となってスループットの足かせになることだ。対策にはPagedAttention(効率的なメモリ管理)、グループクエリアテンション(KVヘッド数の削減)、KVキャッシュの量子化がある。LLM推論の中心的なデータ構造であり、連続バッチ処理とも関係が深い。