PagedAttention
KVキャッシュに仮想メモリの発想を持ち込む手法。GPUメモリを無駄にせず、LLMサーバーが複数リクエストをバッチ処理できるようになる。
2023年にバークレーの vLLM チームが考案した。従来はリクエストごとに連続したKVキャッシュを確保していたため、最大コンテキスト分を予約しても実際には一部しか使わない内部断片化が起きていた。PagedAttentionはキャッシュを固定長の「ページ」(例:16トークン)に分け、シーケンスごとにページテーブルを持つ。OSの仮想メモリそのままの発想だ。結果としてスループットは2〜4倍になり、同時接続ユーザーもはるかに増やせる。