Best-of-N
Erzeuge N Antworten und wähle eine aus — die einfachste Methode, Rechenleistung zur Inferenzzeit statt beim Training in Qualität umzuwandeln.
Die Auswahl erfolgt auf zwei Arten: Entweder bewertet ein Belohnungsmodell die Kandidaten und die beste gewinnt, oder man zählt schlicht, welche Endantwort am häufigsten vorkommt — das nennt sich Selbstkonsistenz und funktioniert bei Mathematikaufgaben überraschend gut. Die Trefferquote steigt ungefähr logarithmisch mit N, also mit abnehmendem Grenznutzen pro Verdopplung, bei linear wachsenden Kosten. Die Methode dient außerdem zur Erzeugung von Trainingsdaten: viele Antworten samplen, die besten behalten und darauf feinjustieren. Die bekannte Schwäche ist Reward Hacking — bei großem N findet der Sampler zunehmend Antworten, die das Belohnungsmodell täuschen, statt tatsächlich gut zu sein, sodass die Kurve abflacht und wieder sinkt.