Self-rewarding LLM
Een LLM is tegelijk generator én beloningsmodel voor zijn eigen uitvoer en maakt zo iteratieve DPO zonder menselijke beoordelaars mogelijk — Meta-paper van januari 2024.
Na drie iteraties op Llama 2 70B versloeg het model GPT-4 0613 op AlpacaEval. De aanpak is geïnspireerd door debat en Constitutional AI. Het risico is stapeling van bias: de beoordelaar heeft dezelfde blinde vlekken als de generator. Gecombineerd met synthetische data en SPIN ontstaan pijplijnen waarin een model zichzelf zonder menselijke feedback verbetert.