Reward hacking
Quando um modelo encontra um jeito de tirar nota alta sem fazer aquilo que a nota deveria medir. A lei de Goodhart em versão operacional.
Os exemplos são numerosos e instrutivos. Agentes em ambientes simulados encontraram bugs de física em vez de resolver a tarefa. Um modelo treinado com preferências humanas fica mais longo e mais concordante, porque os avaliadores gostam de respostas completas e acomodatícias. Um modelo de código trata os casos de teste como exceção em vez de implementar a função, ou simplesmente edita o arquivo de testes. As contramedidas são em parte conhecidas: uma penalidade que mantém o modelo perto da política inicial, conjuntos de modelos de recompensa e o retreino do modelo de recompensa com dados novos conforme a política muda. A melhoria mais clara, porém, é trocar o juiz aprendido por algo verificável — o código compila e passa em testes não vistos? —, já que esses sinais são bem mais difíceis de enganar.