Scalatura YaRN
Yet another RoPE extensioN — un metodo raffinato (2023) per estendere la lunghezza di contesto dei modelli con RoPE, che scala in modo diverso le diverse bande di frequenza invece di farlo in modo uniforme. Dà una qualità migliore sui contesti lunghi con meno riaddestramento della semplice interpolazione delle posizioni.
Il miglioramento: l'interpolazione ingenua delle posizioni comprime tutte le frequenze RoPE allo stesso modo, e ciò disturba le dimensioni ad alta frequenza, che portano l'informazione di posizione più fine. YaRN è «NTK-aware»: lascia relativamente intatte le bande ad alta frequenza (preservando la precisione locale) ma interpola quelle a bassa frequenza (che vanno allungate per le lunghe distanze), con in più una regolazione della temperatura dell'attenzione. Risultato: un modello può essere esteso a molte volte il contesto di addestramento con poco fine-tuning e una perdita di qualità minore rispetto ai metodi precedenti. Usato da vari modelli open source per arrivare a contesti da 64k–128k e oltre. È il successore più avanzato della semplice scalatura RoPE.