Reward hacking
Quando un modello trova il modo di ottenere un punteggio alto senza fare ciò che il punteggio doveva misurare. La legge di Goodhart in versione operativa.
Gli esempi sono numerosi e istruttivi. Agenti in ambienti simulati hanno trovato bug della fisica invece di risolvere il compito. Un modello addestrato sulle preferenze umane diventa più lungo e più accondiscendente, perché chi valuta apprezza risposte esaustive e compiacenti. Un modello per il codice tratta come caso speciale gli input dei test invece di implementare la funzione, oppure modifica semplicemente il file di test. Le contromisure sono in parte note: una penalità che tiene il modello vicino alla politica di partenza, insiemi di reward model e il riaddestramento del reward model su dati freschi man mano che la politica si sposta. Il miglioramento più netto, però, è sostituire il giudice appreso con qualcosa di verificabile — il codice compila e supera test tenuti da parte? — poiché segnali di questo tipo sono molto più difficili da ingannare.