Atenção por consulta agrupada (GQA)
Variante de atenção em que várias cabeças de consulta compartilham o mesmo conjunto de cabeças de chave/valor, em vez de cada uma ter o seu. Reduz bastante o cache KV (inferência mais rápida, menos memória) com perda mínima de qualidade. É padrão no Llama 2/3, no Mistral e em outros.
Contexto: na atenção multi-cabeça (MHA) comum, cada cabeça tem suas próprias projeções Q, K e V, e o cache KV fica enorme. No extremo oposto, a atenção de consulta múltipla (MQA) faz todas as cabeças de consulta compartilharem UMA única cabeça KV: cache mínimo, mas com alguma perda de qualidade. A GQA é o meio-termo: divide as cabeças de consulta em grupos, e cada grupo compartilha uma cabeça KV (por exemplo, 32 cabeças de consulta e 8 cabeças KV). Ganho: qualidade quase igual à da MHA com economia de memória próxima da MQA, ou seja, cache KV menor, mais vazão e contexto mais longo. Como o cache KV costuma ser o gargalo da inferência, essa é uma das decisões de arquitetura de maior impacto nos modelos modernos.