RoPE
Способ, которым большинство современных LLM кодируют позицию токена: поворот в векторном пространстве вместо аддитивного эмбеддинга.
Предложен Цзяньлинем Су и соавторами (2021), теперь стандарт в Llama, Mistral, GPT-NeoX, Qwen, DeepSeek. Вместо прибавления позиционного эмбеддинга векторы запроса и ключа умножаются на матрицы поворота, кодирующие позицию как угол. Следствие: относительные позиции получаются сами собой, а контекстное окно можно задним числом «растянуть» — YaRN, NTK-масштабирование, LongRoPE и т. д.