位置エンコーディング
Transformer のアテンションはトークンの並び順を知らないため、位置情報を明示的に注入する必要がある。通常は入力埋め込みに加算する。
古典的な方式は正弦波（原論文。次元ごとに異なる周波数の sin/cos）と学習型の絶対位置（BERT、GPT-2）。現在の主流は RoPE（Rotary Position Embedding。クエリとキーを複素平面上で回転させる）と ALiBi（Attention with Linear Biases）だ。
2024 年には長いコンテキストで RoPE が優勢になった。「RoPE スケーリング」や YaRN により、訓練時の系列長を超えて外挿できる。Llama、Mistral、Qwen、Gemma、DeepSeek の標準である。