Масштабирование YaRN
Yet another RoPE extensioN — усовершенствованный метод (2023) увеличения длины контекста моделей с RoPE, который масштабирует разные частотные полосы по-разному, а не равномерно. Качество на длинном контексте выше, дообучения нужно меньше, чем при простой интерполяции позиций.
Суть улучшения: наивная интерполяция позиций сжимает все частоты RoPE одинаково, портя высокочастотные измерения, которые несут тонкую информацию о позиции. YaRN «учитывает NTK»: высокочастотные полосы почти не трогает (сохраняя локальную точность), а низкочастотные, которым для дальних связей нужно растяжение, интерполирует; вдобавок подстраивается температура внимания. В итоге модель можно растянуть до контекста в разы длиннее обученного с небольшим дообучением и меньшими потерями, чем у прежних методов. Применяется в ряде открытых моделей для контекста 64k–128k+. Более продвинутый преемник простого масштабирования RoPE.