YaRN-Scaling
Yet another RoPE extensioN — eine verfeinerte Methode (2023), um die Kontextlänge von RoPE-Modellen zu verlängern, indem unterschiedliche Frequenzbänder unterschiedlich statt gleichmäßig skaliert werden. Liefert bei langem Kontext bessere Qualität mit weniger Nachtraining als einfache Positions-Interpolation.
Die Verbesserung: Naive Positions-Interpolation staucht alle RoPE-Frequenzen gleich stark, was die hochfrequenten Dimensionen stört, die feinkörnige Positionsinformation tragen. YaRN ist „NTK-aware": Es lässt hochfrequente Bänder relativ unberührt (bewahrt lokale Präzision), interpoliert aber niedrigfrequente Bänder (die für große Reichweite gedehnt werden müssen), plus eine Temperaturanpassung der Attention. Ergebnis: Ein Modell lässt sich mit nur wenig Finetuning und geringerem Qualitätsverlust als bei früheren Methoden auf ein Vielfaches seiner trainierten Kontextlänge erweitern. Wird von mehreren Open-Source-Modellen genutzt, um 64k–128k+ Kontext zu erreichen. Der fortgeschrittenere Nachfolger von einfachem RoPE-Scaling. Hängt eng mit RoPE-Scaling und Kontextlängen-Erweiterung zusammen.