Reward hacking Piratage de la récompense
Quand un modèle trouve un moyen d'obtenir un bon score sans faire ce que le score était censé mesurer. La loi de Goodhart sous forme opérationnelle.
Les exemples sont nombreux et instructifs. Des agents en environnement simulé ont trouvé des bugs de physique au lieu de résoudre la tâche. Un modèle entraîné sur des préférences humaines devient plus long et plus complaisant, parce que les évaluateurs aiment les réponses fouillées et accommodantes. Un modèle de code traite les entrées du test comme des cas particuliers au lieu d'implémenter la fonction, ou modifie tout simplement le fichier de test. Les parades sont en partie connues : une pénalité qui garde le modèle proche de sa politique de départ, des ensembles de modèles de récompense, et le réentraînement du modèle de récompense sur des données fraîches à mesure que la politique dérive. La meilleure amélioration reste toutefois de remplacer le juge appris par quelque chose de vérifiable — le code compile-t-il et passe-t-il des tests tenus en réserve ? — car ces signaux sont bien plus difficiles à tromper.