RoPE-scaling
Technieken om de contextlengte van modellen met RoPE (Rotary Position Embedding) op te rekken door de frequenties van de positiecodering te herschalen. Zo kan een model dat op bijvoorbeeld 4k tokens is getraind veel langere reeksen aan, vaak met een beetje extra fine-tuning.
Achtergrond: RoPE codeert de positie van tokens door query- en keyvectoren met positieafhankelijke hoeken te „roteren" — elegant, want het vangt relatieve afstanden en is standaard in onder meer Llama en Mistral. Probleem: een model generaliseert slecht naar posities die langer zijn dan waarop het is getraind. RoPE-scaling lost dat op door de rotatiefrequenties aan te passen: „position interpolation" (de posities samenpersen tot het getrainde bereik) of het veranderen van de basis theta. Zo kan een 4k-model met minimale hertraining naar 32k of meer worden opgerekt. Winst: goedkope contextuitbreiding zonder helemaal opnieuw te trainen. YaRN is een verfijndere variant van hetzelfde idee. Een centrale techniek achter de lange contextvensters van nu. Verwant aan YaRN-scaling en contextlengte-uitbreiding.