コンテキスト長の拡張
もともと学習した長さより長いコンテキストをモデルに扱わせる手法の総称。ゼロから再学習せず、位置のスケーリング（RoPE/YaRN）、アーキテクチャ（疎なアテンション）、少量の追加学習を組み合わせる。
理由は単純で、非常に長い系列での事前学習はアテンションが二乗で増えるため極端に高くつく。そこで短い系列で学習し、あとから引き延ばす。道具立ては三つある。新しい位置を許容させる位置スケーリング（RoPEスケーリング、YaRN、位置補間）、長い系列を計算可能にする疎・スライディングウィンドウ型アテンション、そして実際に長い文書で行う短い追加のファインチューニングである。成否は「干し草の山の中の針」テスト（10万トークンの真ん中にある一点をモデルは見つけられるか）で測る。ただしウィンドウが広がっても実効的な活用は落ちうる（「真ん中が抜け落ちる」）うえ、コストも増える。約4kから100万トークン超への飛躍を可能にした技術である。