DPO (Direct Preference Optimization)
Une méthode (2023) pour aligner un LLM sur les préférences humaines directement à partir de paires de réponses « préférée / non préférée » — sans entraîner d'abord un modèle de récompense séparé ni lancer d'apprentissage par renforcement. Une alternative plus simple et plus stable au RLHF.
Contexte : l'alignement par RLHF se fait en plusieurs étapes (entraîner un modèle de récompense sur des données de préférence, puis optimiser la politique avec PPO) — puissant, mais complexe et instable. La DPO démontre mathématiquement qu'on peut sauter le modèle de récompense et l'étape de RL : on optimise directement le modèle sur les paires de préférence, avec une simple fonction de perte proche de la classification. Résultat : un alignement comparable ou meilleur, bien plus simple et stable à entraîner, avec moins de pièces mobiles. Elle est vite devenue populaire pour les modèles open source (Zephyr et d'autres) précisément parce qu'elle est bien plus facile à mettre en œuvre que le RLHF à base de PPO. Elle fait partie de la famille plus large du « preference tuning » (avec IPO, KTO, ORPO). Voir aussi RLHF et instruction tuning.