IA constitucional
El método de entrenamiento de Anthropic en el que un LLM aprende a seguir una «constitución» escrita (un conjunto de principios) criticando y revisando sus propias respuestas, sin que un humano etiquete cada ejemplo.
Dos pasos: (1) aprendizaje supervisado, donde el modelo genera una respuesta, la critica frente a los principios y la reescribe; (2) RLAIF —aprendizaje por refuerzo a partir de la retroalimentación de una IA—, donde un modelo aparte elige entre respuestas usando esos mismos principios.
Escala mejor que el RLHF puro (menos anotación humana) y hace los valores inspeccionables: uno puede leer la constitución. Lo usa la familia Claude desde 2022.