Инструктивная настройка (Instruction tuning)
Дообучение «сырой» языковой модели на большом наборе пар (инструкция, ответ), чтобы она училась выполнять инструкции, а не просто продолжать текст. Шаг, превращающий «продолжатель текста» в полезного ассистента.
Зачем: предобученная базовая модель умеет лишь предсказывать следующий токен — попросите её о чём-то, и она может продолжить список вопросов вместо ответа. Инструктивная настройка (форма обучения с учителем, SFT) обучает её на тысячах примеров задач с желаемыми ответами, охватывающих множество типов заданий, так что она обобщается до «делай то, что просит пользователь». Обычно это первый шаг в создании чат-модели, за ним следует настройка по предпочтениям (RLHF/DPO) ради тона и безопасности. Знаковые работы: FLAN от Google и InstructGPT (на нём построен ChatGPT). Отличается от настройки по предпочтениям (она уточняет, КАК модель отвечает, по сравнениям): инструктивная настройка учит её отвечать вообще.