Rozszerzanie długości kontekstu
Zbiorcze pojęcie na sposoby nauczenia modelu obsługi dłuższego okna kontekstowego, niż miał w treningu — bez trenowania od zera. Łączy sztuczki pozycyjne (RoPE/YaRN), architekturę (rzadka uwaga) i odrobinę post-trainingu.
Dlaczego: pretrening od razu na bardzo długim kontekście jest skrajnie drogi (uwaga rośnie kwadratowo), więc zwykle trenuje się na krótszych sekwencjach, a potem „rozciąga”. Skrzynka narzędzi: skalowanie pozycji (RoPE scaling, YaRN, interpolacja pozycji), by model tolerował nowe pozycje; rzadka uwaga lub okno przesuwne, by długie sekwencje dało się policzyć; oraz krótka faza dostrajania na naprawdę długich dokumentach. Miara sukcesu: testy „igły w stogu siana” (czy model znajdzie szczegół w środku 100 tys. tokenów?). Kompromis: mimo że okno rośnie, efektywne wykorzystanie może cierpieć („lost in the middle”), a koszt rośnie. To dzięki temu skoczono z ok. 4 tys. do 100 tys.–1 mln+ tokenów.