DPO
Alternativa mais simples ao RLHF — treina diretamente com pares de preferência, sem um modelo de recompensa separado.
Stanford, 2023. O RLHF exige: SFT → modelo de recompensa → PPO. O DPO dispensa o modelo de recompensa e o PPO. É mais estável, mais barato e, muitas vezes, igualmente bom. Sustenta boa parte do fine-tuning open source moderno. O Llama 3 e modelos posteriores usam DPO ou variantes.