RoPE Rotary Position Embedding
Wie die meisten modernen LLMs die Position von Tokens kodieren – Rotation im Vektorraum statt additivem Embedding.
Vorgeschlagen von Jianlin Su et al. (2021), heute Standard bei Llama, Mistral, GPT-NeoX, Qwen und DeepSeek. Statt ein Positional Embedding zu addieren, werden die Query- und Key-Vektoren mit Rotationsmatrizen multipliziert, die die Position als Winkel kodieren. Effekt: Relative Positionierung ergibt sich von selbst, und das Kontextfenster lässt sich nachträglich mit YaRN, NTK-Scaling, LongRoPE und Ähnlichem „strecken“.