プロセス報酬モデル（PRM）
最終的な答えが合っていたかだけでなく、推論の各ステップを評価する報酬モデル。モデルが誤った理由で正解にたどり着くのを見抜ける。
対になるのは結果報酬モデル（ORM）で、答え合わせしかしない。この違いが重要なのは、長い導出に二つの誤りがたまたま打ち消し合って含まれていることがあり、それに報酬を与えるとモデルが間違ったことを学んでしまうからだ。OpenAI の2023年の研究「Let's Verify Step by Step」は、複数の候補解から選ぶ場面で、ステップ単位の評価が結果単位の評価を明確に上回ることを示し、人手でアノテーションしたステップのデータセットを公開した。
実用上の難点は、まさにそのアノテーションが高価なことだ。標準的な回避策は自動化で、各ステップから複数の続きを生成し、それらが正解に至る頻度でステップを採点する。このモデルは、再ランキングにも、強化学習の密な報酬信号にも使われる。