報酬ハッキング

例は多く、示唆に富む。シミュレーション環境のエージェントが、課題を解く代わりに物理エンジンのバグを突く。人間の好みで訓練したモデルは、評価者が丁寧で親切な回答を好むため、長くて同調的になる。コーディングモデルは関数を実装せず、テスト入力だけを特別扱いしたり、テストファイルそのものを書き換えたりする。対策の一部は知られている。元の方策から離れすぎないようにするペナルティ、報酬モデルのアンサンブル、方策の変化に合わせた新しいデータでの報酬モデル再訓練などだ。ただし最も明確な改善は、学習した審判を検証可能なもの（コードがコンパイルでき、未公開のテストに通るか）に置き換えることである。そうした信号は、はるかに騙しにくい。