Constitutional AI（憲法的AI）
Anthropicの学習手法。LLMが自分の回答を批判・修正することで、文書化された「憲法」（原則の集合）に従うことを学ぶ。すべての例に人間がラベルを付ける必要はない。
手順は二段階。(1) 教師あり学習：モデルが回答を生成し、原則に照らして批判し、書き直す。(2) RLAIF（AIフィードバックからの強化学習）：別のモデルが同じ原則に基づいて回答の優劣を選ぶ。
純粋なRLHFより人手のアノテーションが少なくて済み、スケールしやすい。しかも価値観が検証可能になる。憲法を読めばよいからだ。Claudeファミリーでは2022年から使われている。