GRPO
DeepSeekが推論モデルの訓練に用いた強化学習アルゴリズム。回答のグループ同士を比較することで価値モデルを不要にし、PPOより低コストで済む。
DeepSeek-Math（2024年4月）で導入され、DeepSeek-R1（2025年1月）で広く知られるようになった。PPOは方策モデルと同じ大きさの別の価値モデルを必要とするが、GRPOは同じプロンプトに対しN個の回答をサンプリングし、グループ平均との相対的な優位性を計算して、価値モデルを省く。訓練中のメモリを約50％節約できる。ルールベースの報酬（検証可能な数学やコードの答え）と組み合わせれば、高価な人間の選好ラベリングなしに推論モデルを訓練できる。