GQA (Grouped-Query Attention)
Kompromis między multi-head attention (MHA, jeden KV na głowę) a multi-query attention (MQA, jeden KV na całość) — wiele głów zapytań dzieli głowy KV w grupach.
Google Research (2023). MQA drastycznie zmniejsza cache KV, ale szkodzi jakości; GQA z 8 grupami (jak w Llama 2/3) odzyskuje jakość zbliżoną do pełnego MHA przy 4–8 razy mniejszym cache KV, co oznacza większe batche i dłuższy kontekst na tej samej VRAM.
Domyślny wybór we współczesnych modelach decoder (Llama 2/3, Mistral, Qwen, Gemma). Multi-Latent Attention (MLA) w DeepSeek-V2/V3 idzie dalej i kompresuje KV do jednego wektora latentnego.