Estensione della lunghezza di contesto
Il concetto ombrello per far gestire a un modello una finestra di contesto più lunga di quella con cui è stato addestrato, senza riaddestrarlo da zero. Combina trucchi di posizione (RoPE/YaRN), architettura (attenzione sparsa) e un po' di post-training.
Perché: il pre-training direttamente su contesti molto lunghi è estremamente costoso (attenzione quadratica), quindi di norma si addestra su sequenze più corte e si estende dopo. La cassetta degli attrezzi: scalatura delle posizioni (RoPE scaling, YaRN, position interpolation) perché il modello tolleri posizioni nuove; attenzione sparsa o a finestra scorrevole per rendere calcolabili sequenze lunghe; e una breve fase di «fine-tuning a contesto lungo» su documenti davvero lunghi. La misura del successo: i test «needle in a haystack» (il modello trova un dettaglio in mezzo a 100k token?). Compromesso: anche se la finestra cresce, l'uso effettivo può risentirne («lost in the middle») e i costi salgono. È ciò che ha permesso il salto da circa 4k a oltre 100k–1M token. Correlata a YaRN e finestra di contesto.