RLHF
Ajustar un modelo según qué respuestas prefieren las personas, no según qué texto era estadísticamente probable.
Un modelo base solo sabe continuar texto. RLHF añade una fase donde anotadores comparan pares de respuestas, con esas comparaciones se entrena un modelo de recompensa, y este guía el ajuste del modelo principal. Es lo que convierte un continuador de texto en algo que sigue instrucciones.
Sus límites son conocidos: el modelo aprende a producir lo que parece preferible a un evaluador, que no siempre es lo correcto. De ahí la tendencia a respuestas complacientes y excesivamente largas.