Grouped-query attention (GQA)
Una variante de attention en la que varias cabezas de consulta comparten el mismo conjunto de cabezas de clave/valor, en lugar de tener cada una las suyas. Reduce notablemente la caché KV (inferencia más rápida, menos memoria) con una pérdida de calidad mínima. Estándar en Llama 2/3, Mistral y otros.
Contexto: en la attention multi-cabeza habitual (MHA) cada cabeza tiene sus propias proyecciones Q, K y V → la caché KV se vuelve grande. El extremo opuesto, multi-query attention (MQA), deja que todas las cabezas de consulta compartan UNA sola cabeza KV → caché mínima pero cierta pérdida de calidad. GQA es el término medio: divide las cabezas de consulta en grupos, donde cada grupo comparte una cabeza KV (por ejemplo, 32 cabezas de consulta, 8 cabezas KV). Ganancia: calidad casi de MHA con un ahorro de memoria cercano al de MQA → caché KV más pequeña, mayor rendimiento, contexto más largo. Como la caché KV suele ser el cuello de botella de la inferencia, esta es una de las decisiones de arquitectura con más impacto en los modelos modernos. Relacionado con la caché KV y multi-head latent attention.