GQA (Grouped-Query Attention)
Kompromiss zwischen Multi-Head Attention (MHA, ein KV pro Head) und Multi-Query Attention (MQA, ein KV insgesamt) — mehrere Query-Heads teilen sich gruppenweise denselben KV-Head.
Google Research (2023). MQA schrumpft den KV-Cache drastisch, kostet aber Qualität; GQA mit 8 Gruppen (was Llama 2/3 nutzt) erreicht nahezu volle MHA-Qualität bei 4–8× kleinerem KV-Cache — also größere Batches und längerer Kontext auf demselben VRAM.
Standardwahl für moderne Decoder-Modelle (Llama 2/3, Mistral, Qwen, Gemma). Multi-Latent Attention (MLA) in DeepSeek-V2/V3 geht noch weiter und komprimiert KV auf einen einzigen latenten Vektor.