MQA
すべてのヘッドが1組のキーとバリューを共有し、クエリだけをヘッドごとに持つアテンションの変種。2019年にNoam Shazeerが、KVキャッシュを小さくする一点のために提案した。
通常のマルチヘッドアテンションでは、各ヘッドがトークンごとに自分のキーとバリューを保持するため、生成中のキャッシュはコンテキスト長に比例して増えていく。長いコンテキストでは、演算量よりもキャッシュへのメモリ帯域のほうが本当のボトルネックになる。層ごとにキーとバリューを1組だけにすれば、キャッシュはヘッド数分の1、つまり10分の1から100分の1ほどに縮む。品質の低下は小さいが測れる程度にはあり、その折衷案として生まれたのがGQAである。複数のヘッドでキーを共有しつつ、全員では共有しない。PaLMやFalconはMQAをそのまま採用し、より新しいモデルの多くはGQAに落ち着いた。