LLM auto-récompensé
Le LLM joue à la fois le rôle de générateur ET de modèle de récompense sur ses propres sorties — utilisé pour un DPO itératif sans évaluateurs humains. Article de Meta, janvier 2024.
Trois itérations sur Llama 2 70B ont battu GPT-4 0613 sur AlpacaEval. Inspiré du débat et de la Constitutional AI. Risque : accumulation de biais, puisque le juge a les mêmes angles morts que le générateur. Combiné aux données synthétiques et à SPIN ⇒ des pipelines où le « modèle s'améliore lui-même sans retour humain ».