MQA Multi-Query Attention
Variant av uppmärksamhet där alla huvuden delar en enda uppsättning nycklar och värden men behåller varsin fråga. Föreslagen av Noam Shazeer 2019 av ett enda skäl: att krympa KV-cachen.
I vanlig multi-head-uppmärksamhet lagrar varje huvud sina egna nycklar och värden för varje token, och under generering växer den cachen linjärt med kontextlängden. Vid långa kontexter blir minnesbandbredden till cachen den verkliga flaskhalsen — inte beräkningen. Med ett gemensamt nyckel-värde-par per lager minskar cachen med en faktor lika med antalet huvuden, vilket kan betyda tio till hundra gånger mindre. Kvalitetstappet är litet men mätbart, och lösningen blev därför GQA: att gruppera huvudena så att flera men inte alla delar nycklar. PaLM och Falcon använder MQA rakt av; de flesta nyare modeller har landat i GQA.