RLAIF
Reinforcement Learning from AI Feedback。RLHFで人間の評価者が担っていた役割をAIに置き換える。2023年のAnthropicとGoogleの論文が知られる。
売りはどこまでもスケールすること（評価者を採用しなくてよい）。リスクは、AI評価者にも固有の偏りがあるため、バイアスが増幅されること。Googleの論文「RLAIF vs RLHF」（2023年）では、ほとんどのベンチマークでRLHFと同等の品質だった。Claude（Constitutional AI経由）、Gemini、いくつかのオープンソースモデルで使われている。