GQA (Grouped-Query Attention)
Um meio-termo entre a atenção multi-head (MHA, um KV por head) e a multi-query (MQA, um KV para tudo): vários heads de consulta compartilham heads de KV em grupos.
Criada pelo Google Research (2023). A MQA reduz drasticamente o KV cache, mas prejudica a qualidade; a GQA com 8 grupos (o que o Llama 2/3 usa) recupera uma qualidade próxima à da MHA completa com um KV cache de 4 a 8 vezes menor, o que significa lotes maiores e contexto mais longo na mesma VRAM.
É a escolha padrão nos modelos decoder modernos (Llama 2/3, Mistral, Qwen, Gemma). A Multi-Latent Attention (MLA) do DeepSeek-V2/V3 vai além e comprime o KV em um único vetor latente.