Codificación posicional
Como la atención de un transformer no sabe en qué orden llegan los tokens, hay que inyectar la información de posición de forma explícita — normalmente sumándola a los embeddings de entrada.
Variantes clásicas: sinusoidal (el artículo original — senos y cosenos con distinta frecuencia por dimensión), learned absolute (BERT, GPT-2). Dominan hoy: RoPE (Rotary Position Embedding — rota query/key en planos complejos) y ALiBi (Attention with Linear Biases).
RoPE se impuso en 2024 para contextos largos: se puede extrapolar más allá de la longitud de secuencia de entrenamiento con "RoPE scaling" / YaRN. Es la opción por defecto en Llama, Mistral, Qwen, Gemma y DeepSeek.