DPO（直接選好最適化）
「好ましい／好ましくない」の回答ペアから、LLMを人間の好みに直接合わせる2023年の手法。別個の報酬モデルも強化学習も要らず、RLHFより単純で安定している。
背景として、RLHFによるアライメントは複数の段階を踏む。選好データで報酬モデルを学習し、そのうえでPPOによりポリシーを最適化する。強力だが複雑で不安定だ。DPOは、報酬モデルも強化学習の段階も省けることを数学的に示した。選好ペアに対し、分類に似た単純な損失関数でモデルを直接最適化する。同等かそれ以上のアライメントが得られ、学習ははるかに単純で安定し、構成要素も少ない。
PPOベースのRLHFより格段に扱いやすいため、Zephyrなどのオープンソースモデルで急速に普及した。IPO、KTO、ORPOと並ぶ「選好チューニング」の一族に属する。