Sliding-window attention
En sparse-attention-form där varje token bara får titta på ett fast antal närmast föregående tokens (ett glidande fönster), i stället för hela historiken. Populariserad av Mistral 7B för effektiv hantering av lång kontext.
Mekanik: i stället för att låta token N attendera till alla tokens 1…N, begränsas den till de senaste W (t.ex. 4096) tokens. Knepet: när flera sådana lager staplas kan information ändå "rinna" längre bakåt — token i lager 2 ser fönstret från lager 1, som i sin tur sett ett fönster bakåt, så den effektiva räckvidden blir W × antal lager (likt receptiva fält i CNN). Vinst: konstant minnesåtgång per token och linjär skalning, vilket möjliggör långa sekvenser billigt. Avvägning: långväga beroenden måste passera genom flera lager och kan försvagas. Mistral kombinerade det med en "rolling buffer"-KV-cache. Ett konkret, inflytelserikt exempel på sparse attention. Hör ihop med sparse attention och KV-cache.