PPO
Het standaard RL-algoritme voor LLM-training (de RLHF-fase) — past de policy "voorzichtig" aan, zodat die niet te ver van de vorige versie afdrijft.
John Schulman e.a. bij OpenAI (2017). Gebruikt een "clipped surrogate objective" dat updates beperkt tot een gebied rond de oude policy — daarmee worden de trainingscrashes van A2C vermeden. Standaardkeuze bij de training van InstructGPT/ChatGPT, Claude en Llama 2/3. Nadeel: vereist een apart waardemodel (even groot als de policy) en is dus geheugenhongerig. GRPO (DeepSeek) schaft het waardemodel af en werd populair vanaf 2024. DPO is een ander, eenvoudiger alternatief.