RoPE scaling
Techniques pour étendre la longueur de contexte des modèles qui utilisent RoPE (Rotary Position Embedding) en remettant à l'échelle les fréquences de l'encodage de position. Un modèle entraîné sur, disons, 4k tokens peut ainsi traiter des séquences bien plus longues, souvent avec un léger complément d'affinage.
Contexte : RoPE encode la position des tokens en « faisant tourner » les vecteurs de requête et de clé d'angles qui dépendent de la position — élégant parce que cela capture les distances relatives, et standard dans Llama, Mistral et d'autres. Problème : un modèle généralise mal aux positions plus longues que celles vues à l'entraînement. Le RoPE scaling y remédie en modifiant les fréquences de rotation : « interpolation de position » (on comprime les positions dans la plage d'entraînement) ou modification de la base theta. Un modèle 4k peut ainsi être étiré à 32k et plus avec très peu de réentraînement. L'avantage : une extension de contexte bon marché, sans repartir de zéro. Une technique centrale derrière les longues fenêtres de contexte d'aujourd'hui. YaRN en est une variante plus sophistiquée. Voir aussi YaRN scaling et l'extension de la longueur de contexte.