Best-of-N
N個の回答を生成して1つを選ぶ方式。学習時ではなく推論時に計算量で品質を買う、最も単純なやり方である。
選び方は2通りある。報酬モデルで候補を採点して最高のものを採るか、最終回答のうち最も多く出たものを採るか(後者は自己整合性と呼ばれ、数学では意外なほど効く)。精度はNに対しておおむね対数的に伸び、倍にするたびに得られる効果は減っていくが、コストは線形に増える。学習データの生成にも使われ、多数の回答をサンプリングして最良のものだけでファインチューニングする。既知の限界は報酬ハッキングだ。Nが大きくなると、サンプラーは本当に良い回答ではなく報酬モデルを騙す回答を見つけ始め、曲線は頭打ちになってから下がる。