RoPE scaling
Tecniche per estendere la lunghezza di contesto dei modelli che usano RoPE (Rotary Position Embedding) riscalando le frequenze della codifica posizionale. Permettono a un modello addestrato su, per esempio, 4k token di gestire sequenze molto più lunghe, spesso con un po' di fine-tuning aggiuntivo.
Il contesto: RoPE codifica la posizione dei token «ruotando» i vettori di query e key di angoli che dipendono dalla posizione; è elegante perché cattura le distanze relative ed è lo standard in Llama, Mistral e altri. Il problema: un modello generalizza male su posizioni più lunghe di quelle viste in addestramento. Il RoPE scaling lo risolve modificando le frequenze di rotazione: con la «position interpolation» (le posizioni vengono compresse nell'intervallo già visto) oppure cambiando la base theta. Così un modello da 4k può arrivare a 32k e oltre con un riaddestramento minimo. Vantaggio: estensione del contesto a basso costo, senza ripartire da zero. YaRN è una variante più sofisticata della stessa idea. Una tecnica centrale dietro le attuali finestre di contesto lunghe. Imparentato con YaRN scaling ed estensione della lunghezza di contesto.