Mise à l'échelle YaRN
Yet another RoPE extensioN — une méthode raffinée (2023) pour étendre la longueur de contexte des modèles RoPE, qui met à l'échelle les différentes bandes de fréquences de manière distincte au lieu de les traiter uniformément. Elle donne une meilleure qualité en contexte long avec moins de réentraînement que la simple interpolation de positions.
L'amélioration : l'interpolation de positions naïve comprime toutes les fréquences de RoPE de la même façon, ce qui perturbe les dimensions à haute fréquence, celles qui portent l'information de position fine. YaRN est « NTK-aware » : il laisse les bandes à haute fréquence relativement intactes (préservant la précision locale) mais interpole les bandes à basse fréquence (qu'il faut étirer pour la longue portée), avec en plus un ajustement de température de l'attention. Résultat : on peut étendre un modèle à plusieurs fois sa longueur de contexte d'entraînement avec un simple fine-tuning léger, et avec moins de perte de qualité qu'avec les méthodes précédentes. Utilisé par plusieurs modèles open source pour atteindre des contextes de 64k à 128k+. Le successeur plus avancé du simple RoPE scaling. Lié au RoPE scaling et à l'extension de la longueur de contexte.