Обучение с подкреплением (RL)
Парадигма ML, в которой агент учится методом проб и ошибок в некоторой среде, получая награды и штрафы. Размеченные данные не нужны — агент порождает их сам.
Классические прорывы: DQN от DeepMind, играющий в Atari (2013), AlphaGo (2016), AlphaZero (2017), OpenAI Five в Dota (2018). Нынешнее возрождение связано с LLM: RLHF (выравнивание) и RLVR (награды, которые можно проверить, для математики и кода) помогли создать DeepSeek-R1 (2025). Алгоритмы: Q-learning, policy gradient, PPO (любимец OpenAI), DPO. Метод капризный и дорогой — нужны миллионы эпизодов. RL «с нуля» по-прежнему остаётся исследовательским фронтиром.