Best-of-N
Сгенерировать N ответов и выбрать один: простейший способ купить качество за счёт вычислений при инференсе, а не при обучении.
Выбирают одним из двух способов: модель-награда оценивает кандидатов, и побеждает лучший, либо просто считают, какой итоговый ответ встречается чаще всех, — это называется self-consistency и на удивление хорошо работает в математике. Точность растёт примерно логарифмически с N — каждое удвоение даёт всё меньше, — а стоимость растёт линейно. Метод также применяют для получения обучающих данных: насэмплировать много ответов, оставить лучшие и дообучить на них. Известное ограничение — reward hacking: при большом N сэмплер начинает находить ответы, которые обманывают модель-награду, а не являются хорошими, и кривая сначала выходит на плато, а потом идёт вниз.