Contextlengte-uitbreiding
De overkoepelende term voor het laten omgaan van een model met een langer contextvenster dan waarop het oorspronkelijk is getraind, zonder het helemaal opnieuw te trainen. Het combineert positietrucs (RoPE/YaRN), architectuur (sparse attention) en een beetje post-training.
Waarom: rechtstreeks pre-trainen op zeer lange context is extreem duur (kwadratische attention), dus meestal wordt op kortere sequenties getraind en achteraf opgerekt. De gereedschapskist: positieschaling (RoPE scaling, YaRN, position interpolation) zodat het model nieuwe posities verdraagt; sparse of sliding-window attention om lange sequenties berekenbaar te maken; en een korte fase "long-context fine-tuning" op werkelijk lange documenten. De maatstaf voor succes: "needle in a haystack"-tests (vindt het model een detail midden in 100k tokens?). Afweging: ook als het venster groeit, kan het effectieve gebruik tegenvallen ("lost in the middle") en stijgen de kosten. Het maakte de sprong mogelijk van ~4k naar 100k tot 1M+ tokens. Gerelateerd aan YaRN en context window.