MQA (Multi-Query Attention)
Variante de l'attention où toutes les têtes de requête partagent une seule paire clé/valeur — réduit drastiquement le cache KV, au prix d'une perte de qualité.
Noam Shazeer, 2019. L'attention multi-têtes classique compte N têtes de requête et N têtes KV ; la MQA en a N + 1. Résultat : un cache KV N fois plus petit et une inférence nettement plus rapide en contexte long et avec de gros lots (batchs). La perte d'expressivité se voit toutefois dans les benchmarks.
Utilisée dans PaLM, Falcon, StarCoder. Pour les grands modèles actuels, la GQA a pris le relais comme choix par défaut : elle offre presque la qualité de la MHA complète sans payer le prix de la MQA. La MLA de DeepSeek va plus loin en compressant le KV dans un vecteur latent.