RoPE
現代の大半のLLMがトークンの位置を符号化する方法。加算する埋め込みではなく、ベクトル空間での回転を使う。
Jianlin Suらが2021年に提案し、現在はLlama、Mistral、GPT-NeoX、Qwen、DeepSeekで標準になっている。位置埋め込みを足す代わりに、クエリ／キーのベクトルに、位置を角度として表す回転行列を掛ける。効果として、相対的な位置関係が自然に導かれ、YaRN、NTKスケーリング、LongRoPEなどでコンテキストウィンドウを後から「引き伸ばす」こともできる。