Skalowanie YaRN
Yet another RoPE extensioN — udoskonalona metoda (2023) wydłużania kontekstu modeli z RoPE, która skaluje różne pasma częstotliwości różnie, zamiast jednolicie. Daje lepszą jakość przy długim kontekście i wymaga mniej doszkalania niż prosta interpolacja pozycji.
Ulepszenie: naiwna interpolacja pozycji ściska wszystkie częstotliwości RoPE jednakowo, co zaburza wymiary wysokoczęstotliwościowe niosące drobnoziarnistą informację o pozycji. YaRN jest „NTK-aware”: pasma wysokich częstotliwości zostawia względnie nietknięte (zachowując lokalną precyzję), ale interpoluje niskie (które trzeba rozciągnąć na dalekie odległości), a do tego dostraja temperaturę uwagi. Efekt: model można rozszerzyć do wielokrotności długości kontekstu, na której go trenowano, małym kosztem doszkalania i z mniejszą utratą jakości niż wcześniejsze metody. Stosowany w kilku modelach open source do osiągania kontekstu 64k–128k+. Bardziej zaawansowany następca prostego skalowania RoPE. Powiązane ze skalowaniem RoPE i wydłużaniem kontekstu.