RoPE
Il modo in cui la maggior parte degli LLM moderni codifica la posizione dei token: una rotazione nello spazio vettoriale invece di un embedding additivo.
Proposta da Jianlin Su e colleghi (2021), oggi è lo standard in Llama, Mistral, GPT-NeoX, Qwen e DeepSeek. Invece di sommare un embedding posizionale, si moltiplicano i vettori query/key per matrici di rotazione che codificano la posizione come angolo. Effetto: la posizione relativa emerge in modo naturale e la finestra di contesto si può «allungare» a posteriori con YaRN, NTK scaling, LongRoPE e simili.