Расширение контекста
Общее название приёмов, позволяющих модели работать с более длинным контекстным окном, чем то, на котором её обучали, — без обучения с нуля. Сочетает приёмы с позициями (RoPE/YaRN), архитектуру (разреженное внимание) и немного дообучения.
Зачем: предобучение сразу на очень длинном контексте чрезвычайно дорого (внимание растёт квадратично), поэтому обычно учат на коротких последовательностях и растягивают потом. Набор инструментов: масштабирование позиций (RoPE scaling, YaRN, интерполяция позиций), чтобы модель переносила новые позиции; разреженное внимание или внимание со скользящим окном, чтобы длинные последовательности вообще можно было посчитать; и короткая фаза «дообучения на длинном контексте» на действительно длинных документах. Критерий успеха — тесты «иголка в стоге сена» (находит ли модель деталь посреди 100 тысяч токенов?). Компромисс: даже когда окно выросло, эффективное использование может страдать («потерянное в середине»), а стоимость растёт. Именно это позволило перейти от ~4 тысяч к 100 тысячам–1 млн токенов и более. Связано с YaRN и контекстным окном.