YaRN ölçekleme
Yet another RoPE extensioN: RoPE kullanan modellerin bağlam uzunluğunu uzatmak için (2023) geliştirilmiş, farklı frekans bantlarını tek tip değil farklı ölçekleyen incelmiş bir yöntem. Basit konum enterpolasyonundan daha az yeniden eğitimle daha iyi uzun bağlam kalitesi verir.
Gelişme: saf konum enterpolasyonu tüm RoPE frekanslarını eşit sıkıştırır ve ince konum bilgisini taşıyan yüksek frekanslı boyutları bozar. YaRN "NTK farkında"dır: yüksek frekanslı bantlara görece dokunmaz (yerel kesinliği korur), uzun menzil için esnetilmesi gereken düşük frekanslı bantları enterpole eder, ayrıca dikkat için bir sıcaklık ayarı uygular. Sonuçta bir model, eğitildiği bağlam uzunluğunun birkaç katına, az bir ince ayarla ve öncekilerden daha az kalite kaybıyla çıkarılabilir. Birçok açık kaynak model 64k–128k+ bağlama ulaşmak için kullanır. Basit RoPE ölçeklemenin daha gelişmiş halefidir.