GQA (Grouped-Query Attention)
Un compromesso tra multi-head attention (MHA, un KV per testa) e multi-query attention (MQA, un solo KV in totale): più teste di query condividono le teste KV a gruppi.
Google Research (2023). MQA riduce drasticamente la KV cache ma peggiora la qualità; GQA con 8 gruppi (quella usata da Llama 2/3) recupera una qualità quasi pari a MHA con una KV cache da 4 a 8 volte più piccola, cioè batch più grandi e contesto più lungo con la stessa VRAM.
Scelta predefinita nei moderni modelli decoder (Llama 2/3, Mistral, Qwen, Gemma). La Multi-Latent Attention (MLA) di DeepSeek-V2/V3 va oltre, comprimendo il KV in un unico vettore latente.