DPO Direct Preference Optimization
Une alternative plus simple au RLHF — on entraîne directement sur des paires de préférences, sans modèle de récompense séparé.
Stanford, 2023. Le RLHF exige trois étapes : SFT → modèle de récompense → PPO. Le DPO supprime le modèle de récompense et le PPO : plus stable, moins cher, souvent tout aussi bon. Il anime une bonne partie du fine-tuning open source moderne. Llama 3 et les modèles suivants utilisent le DPO ou l'une de ses variantes. À ne pas confondre, en France, avec le DPO du RGPD (délégué à la protection des données) : même sigle, aucun rapport.