Instruction tuning réglage par instructions
Affiner un modèle de langage brut sur un grand nombre de paires (consigne, réponse) pour qu'il apprenne à suivre des instructions au lieu de simplement prolonger le texte. L'étape qui transforme un « prolongateur de texte » en assistant utile.
Pourquoi : un modèle de base pré-entraîné ne sait que prédire le jeton suivant — on lui pose une demande, et il peut très bien continuer avec d'autres questions au lieu de répondre. L'instruction tuning (une forme de fine-tuning supervisé, SFT) l'entraîne sur des milliers d'exemples de tâches accompagnés des réponses voulues, dans des types de tâches très variés, afin qu'il généralise à « fais ce que l'utilisateur demande ». C'est en général la première étape pour fabriquer un modèle de chat, suivie d'un réglage par préférences (RLHF/DPO) pour le ton et la sécurité.
Travaux pionniers : FLAN chez Google et InstructGPT, qui se trouvait derrière ChatGPT. À distinguer du réglage par préférences, qui affine COMMENT le modèle répond à partir de comparaisons : l'instruction tuning lui apprend à répondre tout court.