LM autorrecompensado
Artículo de Meta (enero de 2024) — entrenar un LLM para ser a la vez "política" y "juez". Mejora iterativa sin un modelo de recompensa externo.
Proceso: (1) el modelo genera dos respuestas candidatas, (2) el propio modelo actúa como juez entre ellas, (3) los datos de preferencia alimentan un entrenamiento DPO, (4) se repite. Tres iteraciones bastaron para que Llama-2-70B superara a GPT-4 en AlpacaEval. El riesgo: volverse demasiado bueno engañando a su propio juez ("ley de Goodhart" aplicada a la IA). Todavía no es estándar en producción, pero es un área de investigación activa.