MQA Multi-Query Attention
Une variante de l'attention où toutes les têtes partagent un seul jeu de clés et de valeurs tout en gardant leurs propres requêtes. Proposée par Noam Shazeer en 2019 pour une seule raison : réduire le cache KV.
Dans l'attention multi-têtes classique, chaque tête stocke ses propres clés et valeurs pour chaque token, et pendant la génération ce cache croît linéairement avec la longueur du contexte. Sur de longs contextes, ce n'est plus le calcul mais la bande passante mémoire vers le cache qui devient le vrai goulot d'étranglement. Avec une seule paire clé-valeur partagée par couche, le cache rétrécit d'un facteur égal au nombre de têtes — de dix à cent fois moins. La perte de qualité est faible mais mesurable ; le compromis qui en est sorti s'appelle GQA : regrouper les têtes pour que plusieurs, mais pas toutes, partagent leurs clés. PaLM et Falcon utilisent directement MQA ; la plupart des modèles récents se sont fixés sur GQA.