MQA（マルチクエリアテンション）
すべてのクエリヘッドが1組のキー/バリューを共有するアテンションの変種。KVキャッシュを大幅に縮められるが、品質は犠牲になる。
2019年にNoam Shazeerが提案した。標準のマルチヘッドアテンションはクエリヘッドN個に対しKVヘッドもN個だが、MQAはN個に対して1個。KVキャッシュはN分の1になり、長いコンテキストや大きなバッチでの推論が大幅に速くなる。一方、表現力の低下はベンチマークに表れる。
PaLM、Falcon、StarCoderなどで使われた。現在の大型モデルではGQAが標準の座を奪っている。MHAにほぼ匹敵する品質を、MQAほどの代償なしで得られるためだ。DeepSeekのMLAはさらに進み、KVを潜在ベクトルに圧縮する。