MQA (Multi-Query Attention)
Tüm sorgu başlıklarının tek bir anahtar/değer çiftini paylaştığı dikkat varyantı; KV önbelleğini ciddi biçimde küçültür ama kaliteden ödün verir.
Noam Shazeer, 2019. Standart çok başlıklı dikkatte N sorgu başlığı ve N KV başlığı bulunur; MQA'da ise N + 1. Sonuç: KV önbelleği N kat küçülür, uzun bağlamda ve büyük batch'lerde çıkarım belirgin biçimde hızlanır. Kaybedilen ifade gücü ise kıyaslamalarda kendini gösterir.
PaLM, Falcon ve StarCoder'da kullanıldı. Bugünün büyük modellerinde varsayılan artık GQA; MQA'nın bedelini ödemeden neredeyse tam MHA kalitesi sunuyor. DeepSeek'in MLA'sı ise KV'yi örtük bir vektöre sıkıştırarak daha da ileri gidiyor.