DPO (Direct Preference Optimization)
Un metodo (2023) per allineare un LLM alle preferenze umane direttamente da coppie di risposte «preferita/non preferita», senza prima addestrare un modello di ricompensa separato né eseguire l'apprendimento per rinforzo. Un'alternativa più semplice e stabile all'RLHF.
Contesto: l'allineamento con RLHF avviene in più fasi (addestrare un modello di ricompensa sui dati di preferenza, poi ottimizzare la policy con PPO): potente ma complesso e instabile. La DPO dimostra matematicamente che si possono saltare il modello di ricompensa e la fase RL: il modello si ottimizza direttamente sulle coppie di preferenza con una semplice funzione di perdita simile a una classificazione. Risultato: allineamento comparabile o migliore, addestramento molto più semplice e stabile, meno parti in movimento. È diventata rapidamente popolare per i modelli open source (Zephyr e altri) proprio perché è molto più facile da eseguire dell'RLHF basato su PPO. Fa parte della più ampia famiglia del «preference tuning» (insieme a IPO, KTO, ORPO). Collegata a RLHF e instruction tuning.