PPO
L'algoritmo di RL standard per l'addestramento degli LLM (la fase RLHF): aggiorna la policy «con cautela», perché non si allontani troppo dalla versione precedente.
Proximal Policy Optimization, di John Schulman e altri presso OpenAI (2017). Usa un «clipped surrogate objective» che vincola gli aggiornamenti a una regione attorno alla vecchia policy, evitando i crolli di addestramento di cui soffriva A2C. Scelta predefinita nell'addestramento di InstructGPT/ChatGPT, di Claude e di Llama 2/3. Svantaggio: richiede un value model separato (grande quanto la policy), quindi consuma molta memoria. GRPO (DeepSeek) elimina il value model ed è diventato popolare dal 2024. DPO è un'altra alternativa più semplice.