DPO (Direct Preference Optimization)
En metod (2023) för att rikta in (aligna) en LLM mot mänskliga preferenser direkt från par av "föredraget/icke-föredraget" svar — utan att först träna en separat belöningsmodell och köra förstärkningsinlärning. Ett enklare, stabilare alternativ till RLHF.
Bakgrund: RLHF aligning sker i flera steg (träna en belöningsmodell på preferensdata, sedan optimera policyn med PPO) — kraftfullt men komplext och instabilt. DPO visar matematiskt att man kan hoppa över belöningsmodellen och RL-steget: man optimerar modellen direkt på preferensparen med en enkel klassificeringsliknande förlustfunktion. Resultat: jämförbar eller bättre alignment, mycket enklare och stabilare att träna, färre rörliga delar. Blev snabbt populärt för open source-modeller (Zephyr m.fl.) just för att det är så mycket lättare att köra än PPO-baserad RLHF. Del av den bredare "preference tuning"-familjen (jämte IPO, KTO, ORPO). Hör ihop med RLHF och instruction tuning.