Kontextlängds-utökning
Samlingsbegreppet för att få en modell att hantera ett längre kontextfönster än den ursprungligen tränades på — utan att träna om den från grunden. Kombinerar positionsknep (RoPE/YaRN), arkitektur (sparse attention) och lite efterträning.
Varför: att förträna direkt på mycket lång kontext är extremt dyrt (kvadratisk attention), så man tränar oftast på kortare sekvenser och sträcker ut efteråt. Verktygslådan: position-skalning (RoPE-scaling, YaRN, position interpolation) så modellen tolererar nya positioner; sparse/sliding-window-attention för att göra långa sekvenser beräkningsbara; och en kort "long-context fine-tuning"-fas på faktiskt långa dokument. Mått på framgång: "needle in a haystack"-tester (hittar modellen en detalj mitt i 100k tokens?). Avvägning: även om fönstret växer kan effektiv användning lida ("lost in the middle"), och kostnaden stiger. Det som möjliggjorde språnget från ~4k till 100k–1M+ tokens. Hör ihop med YaRN och kontextfönster.