強化学習(RL)
エージェントが環境の中で試行錯誤し、報酬信号で褒められたり罰せられたりしながら学ぶ機械学習の枠組み。ラベル付きデータは不要で、エージェント自身がデータを作り出す。
古典的な成果は、DeepMindのAtariを遊ぶDQN(2013年)、AlphaGo(2016年)、AlphaZero(2017年)、OpenAI Five(Dota、2018年)。近年はLLMで再び脚光を浴びており、RLHF(人間のフィードバックによる調整)や、数学・コード向けのRLVR(検証可能な報酬による強化学習)が、DeepSeek-R1(2025年)を押し上げた。代表的なアルゴリズムはQ学習、方策勾配法、PPO(OpenAIの定番)、DPO。扱いは面倒で費用もかさみ、数百万エピソードが必要になる。「ゼロから」の強化学習は今も研究の最前線にある。