YaRN-schaling
Yet another RoPE extensioN: een verfijnde methode (2023) om de contextlengte van RoPE-modellen uit te breiden, waarbij verschillende frequentiebanden verschillend worden geschaald in plaats van uniform. Dat geeft betere kwaliteit bij lange context met minder hertraining dan simpele positie-interpolatie.
De verbetering: naïeve positie-interpolatie perst alle RoPE-frequenties even sterk samen, wat de hoogfrequente dimensies verstoort die fijnmazige positie-informatie dragen. YaRN is "NTK-aware": het laat hoogfrequente banden relatief ongemoeid (behoud van lokale precisie) maar interpoleert laagfrequente banden (die voor lange afstanden juist uitgerekt moeten worden), plus een temperatuuraanpassing van de attention. Resultaat: een model kan met een beetje finetuning worden uitgebreid tot een veelvoud van de getrainde contextlengte, met minder kwaliteitsverlies dan eerdere methoden. Wordt door diverse open-sourcemodellen gebruikt om 64k–128k+ context te halen. De geavanceerdere opvolger van simpele RoPE-schaling. Verwant aan RoPE-schaling en contextlengteverlenging.