RoPE
A forma como a maioria dos LLMs modernos codifica a posição dos tokens — rotação no espaço vetorial em vez de um embedding somado.
Proposto por Jianlin Su e colegas (2021), hoje é padrão no Llama, Mistral, GPT-NeoX, Qwen e DeepSeek. Em vez de somar um embedding posicional, multiplicam-se os vetores de query e key por matrizes de rotação que codificam a posição como um ângulo. O efeito: a posição relativa surge naturalmente, e dá para "esticar" a janela de contexto depois do treino com YaRN, NTK scaling, LongRoPE e afins.