スパースアテンション
各トークンが他の全トークンではなく一部だけを参照するアテンションの総称で、全結合アテンションの二次の計算量を避け、より長い系列を扱えるようにする。
通常の（密な）セルフアテンションは、各トークンがすべてのトークンと比較するため、コストが系列長の二乗（O(n²)）で増え、長い文書では現実的でなくなる。スパースアテンションは参照先を絞る。たとえば近傍のトークン（ローカルウィンドウ）と、少数の全体用の「アンカー」トークンだけを見る。代表例はLongformer（ローカル＋グローバル）、BigBird（ローカル＋グローバル＋ランダム）、Mistralのスライディングウィンドウ・アテンションである。
利点は、計算量が線形かそれに近くなり、同じ計算資源でずっと長い文脈を扱えること。代償は、各トークンが全体を直接見られなくなることで、パターンの選び方を誤ると長距離の依存関係を取りこぼす。コンテキスト長を伸ばす主要な手段の一つである。