Best-of-N
Wygeneruj N odpowiedzi i wybierz jedną. Najprostszy sposób na kupowanie jakości za moc obliczeniową w czasie wnioskowania, a nie trenowania.
Wybór odbywa się na dwa sposoby: model nagrody ocenia kandydatów i wygrywa najlepszy albo po prostu liczy się, która odpowiedź końcowa pojawia się najczęściej — to tzw. self-consistency, które zaskakująco dobrze działa w matematyce. Dokładność rośnie mniej więcej logarytmicznie z N — każde podwojenie daje coraz mniej — a koszt rośnie liniowo. Metodę stosuje się też do tworzenia danych treningowych: generujemy wiele odpowiedzi, zostawiamy najlepszą i dotrenowujemy na niej model. Znane ograniczenie to reward hacking: przy dużym N próbkowanie zaczyna znajdować odpowiedzi, które oszukują model nagrody zamiast być dobre, więc krzywa się spłaszcza, a potem opada.