Reflexion(リフレクション)
LLMが失敗した試行を言葉で振り返り、その反省をメモリに残して再挑戦するエージェントの型。勾配更新を使わない「言語的な強化学習」。
Shinnらによる2023年の研究(ノースイースタン大学)。ループは、アクターが行動を出し、評価器が正誤と理由を返し、反省器が教訓をテキストで書き、アクターが次の試行の前にそれまでの教訓を読む、という流れになる。
プロンプト設計だけで、HumanEval(コード生成)やWebShop(Web操作)の成績を大きく押し上げた。この手法をきっかけに「自己修正」系の技法が広まり、今ではCursor、Aider、Devinなどのエージェント型パイプラインで当たり前に使われている。