Gruplanmış sorgu dikkati (GQA)
Birden çok sorgu başının, her birine ayrı değil, aynı anahtar/değer başlarını paylaştığı bir dikkat varyantı. KV cache'i önemli ölçüde küçültür (daha hızlı çıkarım, daha az bellek) ve kalite kaybı asgaridir. Llama 2/3, Mistral ve diğerlerinde standarttır.
Arka plan: klasik çok başlı dikkatte (MHA) her başın kendi Q, K ve V projeksiyonları vardır; bu da KV cache'i büyütür. Öteki uç olan çoklu sorgu dikkati (MQA) tüm sorgu başlarının TEK bir KV başını paylaşmasına izin verir; cache minimumdur ama kalite biraz düşer. GQA orta yoldur: sorgu başları gruplara bölünür ve her grup bir KV başını paylaşır (örneğin 32 sorgu başı, 8 KV başı). Kazanç: MHA'ya yakın kalite, MQA'ya yakın bellek tasarrufu; yani daha küçük KV cache, daha yüksek verim, daha uzun bağlam. KV cache çoğu zaman çıkarımın darboğazı olduğundan, bu modern modellerdeki en etkili mimari seçimlerden biridir.