Best-of-N
Generare N risposte e sceglierne una. La forma più semplice di acquistare qualità con la potenza di calcolo in fase di inferenza anziché di addestramento.
La selezione avviene in due modi: un reward model assegna un punteggio ai candidati e vince il migliore, oppure si conta semplicemente quale risposta finale compare più spesso, la cosiddetta self-consistency, che funziona sorprendentemente bene in matematica. L'accuratezza cresce all'incirca in modo logaritmico con N (rendimenti decrescenti a ogni raddoppio) a fronte di un costo che cresce linearmente. Il metodo serve anche a produrre dati di addestramento: si campionano molte risposte, si tengono le migliori e si fa il fine-tuning su di esse. Il limite noto è il reward hacking: con N elevato il campionatore comincia a trovare risposte che ingannano il reward model invece di essere buone, e la curva si appiattisce per poi scendere.