Best-of-N
Gerar N respostas e escolher uma. A forma mais simples de comprar qualidade com computação em tempo de inferência em vez de em tempo de treinamento.
A seleção acontece de duas formas: um modelo de recompensa pontua os candidatos e o melhor vence, ou simplesmente se conta qual resposta final aparece mais vezes — o que se chama autoconsistência e funciona surpreendentemente bem em matemática. A precisão sobe mais ou menos logaritmicamente com N, ou seja, com retornos decrescentes a cada duplicação, a um custo que cresce linearmente. O método também é usado para gerar dados de treinamento: amostrar muitas respostas, manter as melhores e fazer fine-tuning nelas. A limitação conhecida é o reward hacking — com N grande, a amostragem começa a achar respostas que enganam o modelo de recompensa em vez de serem boas, e a curva estabiliza e depois cai.