Масштабирование RoPE
Приёмы увеличения длины контекста у моделей с RoPE (Rotary Position Embedding) за счёт перемасштабирования частот позиционного кодирования. Позволяют модели, обученной, скажем, на 4k токенов, работать с гораздо более длинными последовательностями — часто с небольшим дообучением.
Предыстория: RoPE кодирует позиции токенов «поворотом» векторов запроса и ключа на углы, зависящие от позиции, — изящно, поскольку учитывает относительные расстояния, и стандартно для Llama, Mistral и других. Проблема: модель плохо обобщается на позиции, длиннее тех, что были при обучении. Масштабирование RoPE решает это изменением частот вращения: «интерполяция позиций» (сжатие позиций в обученный диапазон) или смена базы theta. Так модель на 4k можно растянуть до 32k+ с минимальным дообучением. Выигрыш: дешёвое расширение контекста без обучения с нуля. YaRN — более изощрённый вариант той же идеи. Один из центральных приёмов, на которых держатся современные длинные контекстные окна.