DPO (Direct Preference Optimization)
Eine Methode (2023), um ein LLM direkt anhand von Paaren „bevorzugter/nicht bevorzugter" Antworten an menschliche Präferenzen anzupassen — ohne zuerst ein separates Belohnungsmodell zu trainieren und bestärkendes Lernen laufen zu lassen. Eine einfachere, stabilere Alternative zu RLHF.
Hintergrund: RLHF-Alignment läuft in mehreren Schritten ab (ein Belohnungsmodell auf Präferenzdaten trainieren, dann die Policy mit PPO optimieren) — mächtig, aber komplex und instabil. DPO zeigt mathematisch, dass sich Belohnungsmodell und RL-Schritt überspringen lassen: Man optimiert das Modell direkt auf den Präferenzpaaren mit einer einfachen, klassifikationsähnlichen Verlustfunktion. Ergebnis: vergleichbares oder besseres Alignment, deutlich einfacher und stabiler zu trainieren, weniger bewegliche Teile. Wurde bei Open-Source-Modellen (Zephyr und andere) schnell populär, gerade weil es so viel leichter zu betreiben ist als PPO-basiertes RLHF. Teil der breiteren „Preference-Tuning"-Familie (neben IPO, KTO, ORPO). Hängt mit RLHF und Instruction Tuning zusammen.