Kendi Kendini Ödüllendiren LLM
LLM kendi çıktıları üzerinde hem üretici HEM ödül modeli olarak çalışır — insan değerlendirici olmadan yinelemeli DPO için kullanılır. Meta makalesi, Ocak 2024.
Llama 2 70B üzerinde üç yineleme, AlpacaEval’de GPT-4 0613’ü geçti. Tartışma (debate) ve Constitutional AI’dan esinlenir. Risk: yanlılığın birikmesi, çünkü yargıcın kör noktaları üreticininkilerle aynıdır. Sentetik veri ve SPIN ile birleşince “model insan geri bildirimi olmadan kendini geliştirir” hatlarına dönüşür.