PRM
Model nagrody, który ocenia każdy krok rozumowania, a nie tylko to, czy odpowiedź końcowa była poprawna. Wyłapuje sytuacje, w których model trafia we właściwy wynik z niewłaściwych powodów.
Przeciwieństwem jest model nagrody za wynik (outcome reward model), który patrzy wyłącznie na klucz odpowiedzi. Różnica ma znaczenie, bo długie wyprowadzenie może zawierać dwa błędy, które przypadkiem się znoszą, a model nagradzany za coś takiego uczy się złej rzeczy. Praca OpenAI z 2023 roku „Let’s Verify Step by Step” pokazała, że ocenianie kroków wyraźnie wygrywa z oceną wyniku przy wyborze spośród kandydackich rozwiązań, i udostępniła zbiór kroków opisanych przez ludzi. Praktyczna trudność to właśnie ta adnotacja, droga w wykonaniu. Standardowe obejście to robienie jej automatycznie: z każdego kroku generuje się szereg kontynuacji, a krok punktuje się według tego, jak często prowadzą do poprawnej odpowiedzi. Model służy zarówno do rerankingu, jak i jako gęsty sygnał nagrody w uczeniu ze wzmocnieniem.