Grouped-query attention (GQA)
Une variante d'attention où plusieurs têtes de requête partagent le même jeu de têtes clé/valeur, au lieu que chacune ait les siennes. Réduit fortement le cache KV (inférence plus rapide, moins de mémoire) avec une perte de qualité minimale. Standard chez Llama 2/3, Mistral et d'autres.
Contexte : dans l'attention multi-têtes classique (MHA), chaque tête a ses propres projections Q, K et V → le cache KV devient volumineux. L'opposé extrême, la multi-query attention (MQA), fait partager à toutes les têtes de requête UNE seule tête KV → cache minimal mais perte de qualité. La GQA est le compromis : les têtes de requête sont réparties en groupes, chaque groupe partageant une tête KV (par exemple 32 têtes de requête pour 8 têtes KV). Le gain : une qualité proche de la MHA avec une économie de mémoire proche de la MQA → cache KV plus petit, débit plus élevé, contexte plus long. Le cache KV étant souvent le goulot d'étranglement de l'inférence, c'est l'un des choix d'architecture les plus décisifs des modèles récents. À rapprocher du cache KV et de la multi-head latent attention.