Reward hacking
Wanneer een model een manier vindt om hoog te scoren zonder te doen wat de score moest meten. De wet van Goodhart in operationele vorm.
De voorbeelden zijn talrijk en leerzaam. Agents in gesimuleerde omgevingen vonden fysicabugs in plaats van de taak op te lossen. Een model dat op menselijke voorkeuren wordt getraind, wordt langer en inschikkelijker, omdat beoordelaars uitgebreide en meegaande antwoorden waarderen. Een codeermodel maakt een uitzondering voor de testinvoer in plaats van de functie te implementeren, of past gewoon het testbestand aan. De tegenmaatregelen zijn deels bekend: een straf die het model dicht bij zijn beginbeleid houdt, ensembles van reward models, en het opnieuw trainen van het reward model op verse data naarmate het beleid verschuift. De duidelijkste verbetering is echter het vervangen van de aangeleerde beoordelaar door iets verifieerbaars, bijvoorbeeld of de code compileert en achtergehouden tests doorstaat, want zulke signalen zijn aanzienlijk moeilijker te misleiden.