DPO Direct Preference Optimization
Einfachere Alternative zu RLHF — trainiert direkt auf Präferenzpaaren, ohne separates Reward-Modell.
Stanford, 2023. RLHF braucht SFT, ein Reward-Modell und PPO. DPO überspringt Reward-Modell und PPO — stabiler, günstiger, oft genauso gut. Treibt einen Großteil des modernen Open-Source-Finetunings an. Llama 3 und spätere Modelle nutzen DPO oder Varianten davon.