Self-Rewarding LLM
LLM выступает одновременно генератором и reward-моделью для собственных ответов — это позволяет делать итеративный DPO без живых разметчиков. Статья Meta, январь 2024.
Три итерации на Llama 2 70B обошли GPT-4 0613 в AlpacaEval. Идея выросла из дебатов и Constitutional AI. Риск — накопление смещений: у судьи те же слепые пятна, что и у генератора. В сочетании с синтетическими данными и SPIN получаются конвейеры «модель улучшает себя без человеческой обратной связи».