Positional encoding
Eftersom transformer-attention inte vet i vilken ordning tokens kommer, måste positionsinformation injiceras explicit — typiskt som tillägg till input-embeddings.
Klassiska varianter: sinusoidal (originalpapret — sin/cos med olika frekvenser per dimension), learned absolute (BERT, GPT-2). Modern dominans: RoPE (Rotary Position Embedding — roterar query/key i komplexa plan), ALiBi (Attention with Linear Biases).
RoPE vinner i 2024 för långa kontexter — kan extrapoleras bortom träningssekvenslängden via "RoPE scaling" / YaRN. Default i Llama, Mistral, Qwen, Gemma, DeepSeek.