Instruction tuning
Afinar un modelo de lenguaje crudo con un gran conjunto de pares (instrucción, respuesta) para que aprenda a seguir instrucciones en vez de solo continuar texto. El paso que convierte un «continuador de texto» en un asistente útil.
Por qué: un modelo base preentrenado solo predice el siguiente token — pídele algo y puede que continúe con más preguntas en lugar de responder. El instruction tuning (una forma de supervised fine-tuning, SFT) lo entrena con miles de ejemplos de tareas con las respuestas deseadas, en muchos tipos de tarea, para que generalice a «hacer lo que pide el usuario». Suele ser el primer paso para crear un modelo de chat, seguido de preference tuning (RLHF/DPO) para el tono y la seguridad. Trabajos pioneros: FLAN de Google, InstructGPT (que estuvo detrás de ChatGPT). Se distingue del preference tuning (que afina CÓMO responde a partir de comparaciones) — el instruction tuning le enseña a responder, sin más. Relacionado con RLHF y DPO.