Skalowanie RoPE
Techniki wydłużania kontekstu modeli używających RoPE (Rotary Position Embedding) przez przeskalowanie częstotliwości kodowania pozycji. Pozwalają modelowi wytrenowanemu np. na 4 tys. tokenów obsłużyć znacznie dłuższe sekwencje, często po niewielkim dodatkowym dotrenowaniu.
Tło: RoPE koduje pozycje tokenów, „obracając” wektory zapytania i klucza o kąty zależne od pozycji — elegancko, bo oddaje odległości względne, i jest standardem w Llamie, Mistralu i innych. Problem: model słabo uogólnia na pozycje dłuższe, niż widział w treningu. Skalowanie RoPE rozwiązuje to, modyfikując częstotliwości obrotu: „interpolacja pozycji” (ściśnięcie pozycji do wytrenowanego zakresu) albo zmiana bazy theta. Pozwala to rozciągnąć model 4k do 32k+ przy minimalnym dotrenowaniu. Zysk: tanie wydłużenie kontekstu bez trenowania od zera. YaRN to bardziej wyrafinowany wariant tego samego pomysłu. Kluczowa technika stojąca za dzisiejszymi długimi oknami kontekstu. Spokrewnione ze skalowaniem YaRN i wydłużaniem kontekstu.