GRPO
DeepSeeks RL-Algorithmus zum Training von Reasoning-Modellen — billiger als PPO, da er das Value-Modell durch den Vergleich gruppierter Sampling-Antworten ersetzt.
Eingeführt in DeepSeek-Math (April 2024), populär gemacht durch DeepSeek-R1 (Januar 2025). PPO braucht ein separates Value-Modell (so groß wie das Policy-Modell) — GRPO sampelt N Antworten auf denselben Prompt, berechnet den relativen Vorteil gegenüber dem Gruppendurchschnitt und spart sich das Value-Modell. Spart ~50 % Speicher beim Training. Zusammen mit regelbasierten Rewards (verifizierbare Mathe-/Code-Antworten) ermöglicht das Training von Reasoning-Modellen ohne teures Human-Preference-Labeling.