GRPO
DeepSeek’in akıl yürütme modellerini eğitmek için kullandığı pekiştirmeli öğrenme algoritması; örneklenen yanıt gruplarını birbiriyle karşılaştırarak değer modelini ortadan kaldırır ve PPO’dan daha ucuzdur.
DeepSeek-Math ile tanıtıldı (Nisan 2024), DeepSeek-R1 ile yaygınlaştı (Ocak 2025). PPO, politika modeli kadar büyük ayrı bir değer modeli ister; GRPO ise aynı istem için N yanıt örnekler, avantajı grup ortalamasına göre hesaplar ve değer modelini atlar. Eğitim sırasında bellekte yaklaşık %50 tasarruf sağlar. Kurala dayalı ödüllerle (doğrulanabilir matematik/kod yanıtları) birleştiğinde, pahalı insan tercih etiketlemesi olmadan akıl yürütme modeli eğitmeyi mümkün kılar.