Sliding-window attention
各トークンが全履歴ではなく、直前の固定幅のトークン（スライディングウィンドウ）だけを参照するスパースアテンションの一種。Mistral 7Bで広まり、長い文脈を効率よく扱う手段となった。
仕組みはこうだ。N番目のトークンが1〜N番目すべてを見る代わりに、直近のW個（例えば4096個）に限定する。工夫は層の積み重ねにある。2層目のトークンは1層目のウィンドウを見ており、その1層目はさらに前のウィンドウを見ていたため、実効的な到達範囲は W × 層数 になる（CNNの受容野と同じ考え方）。利点はトークンあたりのメモリ使用量が一定で、計算量が線形で済むこと。長い系列を安価に扱える。欠点は、遠い依存関係が複数の層を経由する必要があり、弱まりうることだ。Mistralはこれをローリングバッファ式のKVキャッシュと組み合わせた。影響力の大きいスパースアテンションの具体例である。