DPO
Eenvoudiger alternatief voor RLHF — rechtstreeks trainen op voorkeursparen zonder apart beloningsmodel.
Stanford, 2023. RLHF vraagt: SFT → beloningsmodel → PPO. DPO slaat het beloningsmodel en PPO over. Stabieler, goedkoper en vaak even goed. Ligt aan de basis van een groot deel van de moderne open-source finetuning. Llama 3 en latere modellen gebruiken DPO of varianten daarvan.