DPO (Direct Preference Optimization)
Bir LLM’yi, ayrı bir ödül modeli eğitmeden ve pekiştirmeli öğrenme yürütmeden, doğrudan “tercih edilen / edilmeyen” yanıt çiftlerinden insan tercihlerine hizalayan 2023 tarihli yöntem; RLHF’ye göre daha basit ve kararlı bir alternatif.
Arka plan: RLHF hizalaması birkaç adımda yapılır (tercih verisiyle ödül modeli eğit, sonra politikayı PPO ile optimize et); güçlü ama karmaşık ve kararsızdır. DPO, ödül modeli ile RL adımının atlanabileceğini matematiksel olarak gösterir: model, sınıflandırmaya benzer basit bir kayıp fonksiyonuyla doğrudan tercih çiftleri üzerinde optimize edilir. Sonuç, karşılaştırılabilir ya da daha iyi hizalama, eğitimi çok daha basit ve kararlı, daha az hareketli parça. PPO tabanlı RLHF’yi çalıştırmak çok daha zor olduğundan açık kaynak modeller arasında (Zephyr ve diğerleri) hızla yaygınlaştı. “Tercih ayarlama” ailesinin (IPO, KTO, ORPO ile birlikte) parçasıdır. RLHF ve talimat ayarlama ile ilişkilidir.