DPO (Direct Preference Optimization)
Метод (2023) выравнивания LLM по человеческим предпочтениям напрямую — по парам ответов «предпочтительный / непредпочтительный», без отдельной модели награды и обучения с подкреплением. Более простая и стабильная альтернатива RLHF.
Предыстория: выравнивание через RLHF идёт в несколько шагов (обучить модель награды на данных предпочтений, затем оптимизировать политику через PPO) — мощно, но сложно и нестабильно. DPO математически показывает, что модель награды и RL-шаг можно пропустить: модель оптимизируется напрямую на парах предпочтений простой функцией потерь, похожей на классификационную. Результат: сопоставимое или лучшее выравнивание, значительно проще и стабильнее в обучении, меньше подвижных частей. Метод быстро прижился в открытых моделях (Zephyr и другие) именно потому, что запускать его гораздо легче, чем RLHF на PPO. Входит в семейство «preference tuning» (наряду с IPO, KTO, ORPO).