Dikkat çukuru (attention sink)
Transformer modelleri, anlamlarından bağımsız olarak, dikkatlerinin orantısız büyük bir bölümünü dizinin en başındaki token'lara yığar.
Olgu 2023'te tanımlandı ve açıklaması basit: softmax dikkat ağırlıklarının toplamını bire eşitlemeye zorlar; dolayısıyla hiçbir konum ilgili olmasa bile kütlenin bir yere gitmesi gerekir. Eğitim sırasında model fazlalığı, her dizide bulunan ve bu yüzden hep hazır olan ilk token'lara yığmayı öğrenir. Sonuç pratik ve şaşırtıcıdır: bellekten tasarruf için bu ilk token'ları KV cache'ten çıkarırsanız (kayan pencere tam olarak bunu yapar) modelin çıktısı anlamsızlığa çöker, üstelik söz konusu token'lar çoğu zaman yalnızca bir satır sonu ya da sistem istemidir. Bunlardan bir avuçunu tutmak sorunu tamamen giderir.