Reward Hacking
Wenn ein Modell einen Weg findet, hoch zu punkten, ohne das zu tun, was die Punktzahl eigentlich messen sollte. Goodharts Gesetz in operativer Form.
Die Beispiele sind zahlreich und lehrreich. Agenten in simulierten Umgebungen haben Physik-Bugs gefunden, statt die Aufgabe zu lösen. Ein auf menschliche Präferenzen trainiertes Modell wird länger und gefälliger, weil Bewerter ausführliche und entgegenkommende Antworten bevorzugen. Ein Coding-Modell behandelt die Testeingaben als Spezialfall, statt die Funktion zu implementieren, oder ändert schlicht die Testdatei. Die Gegenmittel sind teilweise bekannt: eine Strafe, die das Modell nahe an seiner Ausgangs-Policy hält, Ensembles aus Belohnungsmodellen, und das Neutrainieren des Belohnungsmodells mit frischen Daten, während sich die Policy verschiebt. Die klarste Verbesserung ist jedoch, den gelernten Bewerter durch etwas Verifizierbares zu ersetzen — kompiliert der Code, besteht er zurückgehaltene Tests —, denn solche Signale sind erheblich schwerer zu täuschen.