PPO Proximal Policy Optimization
L'algorithme d'apprentissage par renforcement de référence pour l'entraînement des LLM (la phase RLHF) — il met à jour la politique « avec précaution » pour qu'elle ne s'éloigne pas trop de la version précédente.
John Schulman et al. chez OpenAI (2017). Utilise un « objectif de substitution écrêté » (clipped surrogate objective) qui confine les mises à jour de la politique à une région autour de l'ancienne — ce qui évite les effondrements d'entraînement dont souffrait A2C. Choix par défaut pour l'entraînement d'InstructGPT/ChatGPT, de Claude, de Llama 2/3. Inconvénient : il exige un modèle de valeur distinct (aussi gros que la politique) ⇒ gourmand en mémoire. GRPO (DeepSeek) supprime le modèle de valeur et s'est popularisé à partir de 2024. DPO est une autre alternative, plus simple.