アテンションシンク

この現象は2023年に報告され、説明は単純である。softmaxは注意の重みの合計を必ず1にするため、関連する位置が一つもないときでも、余った重みをどこかに置かなければならない。学習を通じてモデルは、どの系列にも必ず存在する冒頭のトークンにそれを捨てるようになる。結果は実用上も意外だ。メモリ節約のためにKVキャッシュから先頭トークンを追い出すと（スライディングウィンドウはまさにそうする）、出力は支離滅裂に崩れる。そのトークンが単なる改行やシステムプロンプトであっても同じだ。ほんの数個を残しておけば、完全に直る。