Kayan pencere dikkati
Seyrek dikkatin bir biçimi: her token tüm geçmişe değil, yalnızca kendinden önceki sabit sayıda token’a (kayan pencere) bakar. Uzun bağlamı verimli işlemek için Mistral 7B ile yaygınlaştı.
Mekanizma: N. token 1…N arasındaki tüm token’lara bakmak yerine yalnızca son W token’a (örneğin 4096) bakar. İşin püf noktası, bu tür katmanlar üst üste dizildiğinde bilginin yine de daha geriye “akabilmesidir”: 2. katmandaki bir token, 1. katmanın penceresini görür; o da kendi penceresi kadar geriye bakmıştır. Böylece etkin erişim W × katman sayısı olur (CNN’lerdeki alıcı alanlar gibi). Kazanç: token başına sabit bellek ve doğrusal ölçeklenme; uzun diziler ucuza işlenir. Bedeli: uzun menzilli bağımlılıklar birkaç katmandan geçmek zorunda kalır ve zayıflayabilir. Mistral bunu “rolling buffer” KV önbelleğiyle birleştirdi. Seyrek dikkatin somut ve etkili bir örneğidir.