Sparse attention
Attention-varianter som låter varje token bara titta på en delmängd av övriga tokens, i stället för alla — för att bryta full attention:s kvadratiska kostnad och möjliggöra mycket längre sekvenser. Grunden för många long-context-modeller.
Problem: vanlig ("dense") self-attention låter varje token jämföra sig med alla andra → kostnaden växer kvadratiskt med sekvenslängden (O(n²)), vilket blir ohållbart för långa dokument. Sparse attention begränsar mönstret: varje token tittar bara på t.ex. sina närmaste grannar (lokalt fönster) plus några globala "ankar"-tokens. Exempel: Longformer (lokalt + globalt), BigBird (lokalt + globalt + slumpvist), och sliding-window attention (Mistral). Vinst: linjär eller nära-linjär skalning → mycket längre kontext för samma compute. Avvägning: en token kan inte längre direkt "se" allt, vilket kan missa långväga beroenden om mönstret är illa valt. En av huvudvägarna till att utöka kontextlängd. Hör ihop med sliding-window attention och kontextlängds-utökning.