PRM
Süreç ödül modeli (Process Reward Model): yalnızca nihai yanıtın doğru olup olmadığına değil, bir akıl yürütme zincirinin her adımına not veren ödül modeli. Modelin doğru sonuca yanlış nedenlerle vardığı durumları yakalar.
Karşıtına sonuç ödül modeli denir ve yalnızca cevap anahtarına bakar. Fark önemlidir: uzun bir türetme, birbirini götüren iki hata içerebilir ve bunun için ödüllendirilen model yanlış şeyi öğrenir. OpenAI’ın 2023 tarihli “Let’s Verify Step by Step” çalışması, aday çözümler arasından seçim yaparken adım düzeyinde değerlendirmenin sonuç düzeyindekini açıkça geçtiğini gösterdi ve insanların etiketlediği adımlardan oluşan bir veri kümesi yayımladı. Pratikteki zorluk tam da bu etiketlemedir, çünkü pahalıdır. Standart çözüm otomatikleştirmektir: her adımdan çok sayıda devam üretilir ve adım, bunların kaçının doğru cevaba vardığına göre puanlanır. Model hem yeniden sıralamada hem de pekiştirmeli öğrenmede yoğun bir ödül sinyali olarak kullanılır.