自己報酬型LLM
LLMが自身の出力に対して生成器と報酬モデルの両方を務め、人間の評価者なしで反復的にDPOを行う手法。Metaによる2024年1月の論文。
Llama 2 70Bに3回反復を適用したモデルが、AlpacaEvalでGPT-4 0613を上回った。着想はディベートやConstitutional AIにある。リスクはバイアスの蓄積で、審査役が生成器と同じ盲点を持っているからだ。合成データやSPINと組み合わせると、「人間のフィードバックなしにモデルが自己改善する」パイプラインになる。