Best-of-N
Generar N respuestas y elegir una. La forma más sencilla de comprar calidad con cómputo en el momento de la inferencia en lugar de en el del entrenamiento.
La selección se hace de una de dos maneras: un modelo de recompensa puntúa las candidatas y gana la mejor, o simplemente se cuenta qué respuesta final aparece más veces, lo que se llama autoconsistencia y funciona sorprendentemente bien en matemáticas. La precisión sube de forma aproximadamente logarítmica con N —rendimientos decrecientes en cada duplicación— a un coste que crece de forma lineal. El método también sirve para producir datos de entrenamiento: muestrear muchas respuestas, quedarse con las mejores y ajustar sobre ellas. La limitación conocida es el reward hacking: con N grande, el muestreo empieza a encontrar respuestas que engañan al modelo de recompensa en vez de ser buenas, así que la curva se aplana y luego se vuelve hacia abajo.