Constitutional AI
Método de treinamento da Anthropic em que um LLM aprende a seguir uma "constituição" escrita (um conjunto de princípios) criticando e revisando as próprias respostas — sem precisar de humanos rotulando cada exemplo.
Dois passos: (1) aprendizado supervisionado em que o modelo gera uma resposta, critica-a segundo os princípios e a reescreve; (2) RLAIF — Reinforcement Learning from AI Feedback, em que um modelo separado escolhe entre respostas usando os mesmos princípios.
Escala melhor que o RLHF puro (menos anotação humana) e torna os valores inspecionáveis — dá para ler a constituição. Usado pela família Claude desde 2022.