GQA（Grouped-Query Attention）
マルチヘッドアテンション（MHA、ヘッドごとにKV）とマルチクエリアテンション（MQA、全体でKVは1組）の折衷案。複数のクエリヘッドがグループ単位でKVヘッドを共有する。
2023年にGoogle Researchが発表した。MQAはKVキャッシュを大幅に縮められるが品質が落ちる。8グループのGQA（Llama 2/3が採用）なら、KVキャッシュを4〜8分の1にしつつ、MHAに近い品質を保てる。同じVRAMでバッチを大きく、コンテキストを長くできるということだ。
現代のデコーダーモデル（Llama 2/3、Mistral、Qwen、Gemma）で標準的な選択である。DeepSeek-V2/V3のMulti-Latent Attention（MLA）は、KVを単一の潜在ベクトルに圧縮してさらに先へ進んでいる。