グループ化クエリアテンション（GQA）
複数のクエリヘッドが、それぞれ専用ではなく同じキー/バリューヘッドを共有するアテンションの変種。品質をほとんど落とさずKVキャッシュを大きく縮め、推論が速くなりメモリも減る。Llama 2/3やMistralなどで標準となっている。
通常のマルチヘッドアテンション（MHA）では各ヘッドが自前のQ、K、Vの射影を持つため、KVキャッシュが巨大になる。対極のマルチクエリアテンション（MQA）は、全クエリヘッドで1つのKVヘッドを共有するのでキャッシュは最小だが、品質がやや落ちる。
GQAはその中間で、クエリヘッドをグループに分け、グループごとにKVヘッドを共有する（例：クエリ32ヘッドに対しKV 8ヘッド）。MHAに近い品質で、MQAに近いメモリ節減が得られ、スループットが上がり、長いコンテキストも扱いやすい。KVキャッシュは推論のボトルネックになりがちなので、現代のモデルで最も効果の大きい設計選択の一つだ。