LLM auto-ricompensante
Un LLM che fa sia da generatore sia da modello di ricompensa sui propri output, usato per un DPO iterativo senza valutatori umani. Articolo di Meta, gennaio 2024.
Tre iterazioni su Llama 2 70B hanno battuto GPT-4 0613 su AlpacaEval. Ispirato al dibattito e alla Constitutional AI. Rischio: accumulo di bias, perché il giudice ha gli stessi punti ciechi del generatore. Combinato con dati sintetici e SPIN dà origine a pipeline in cui "il modello migliora da solo, senza feedback umano".