Sliding-Window Attention
Eine Form von Sparse Attention, bei der jedes Token nur auf eine feste Anzahl unmittelbar vorangehender Tokens blicken darf (ein gleitendes Fenster), statt auf die gesamte Historie. Von Mistral 7B populär gemacht für effizientes Handling langer Kontexte.
Mechanik: Statt Token N auf alle Tokens 1…N achten zu lassen, wird es auf die letzten W (z. B. 4096) Tokens beschränkt. Der Trick: Werden mehrere solcher Schichten gestapelt, kann Information trotzdem weiter zurückfließen — ein Token in Schicht 2 sieht das Fenster aus Schicht 1, das selbst schon ein Fenster zurückgeblickt hat, sodass die effektive Reichweite W × Anzahl der Schichten beträgt (ähnlich rezeptiven Feldern in einem CNN). Vorteil: konstanter Speicherbedarf pro Token und lineare Skalierung, was lange Sequenzen günstig macht. Kompromiss: Weitreichende Abhängigkeiten müssen mehrere Schichten durchlaufen und können dabei abschwächen. Mistral kombinierte das Verfahren mit einem "Rolling-Buffer"-KV-Cache. Ein konkretes, einflussreiches Beispiel für Sparse Attention. Verwandt mit Sparse Attention und KV-Cache.