Contamination des données Data contamination
Quand les données de test se sont glissées dans les données d'entraînement. Le modèle donne alors la bonne réponse parce qu'il a mémorisé la question, non parce qu'il sait résoudre la tâche — et le score du benchmark ne veut plus rien dire.
Presque inévitable quand les données d'entraînement sont aspirées sur tout le web et que des benchmarks comme MMLU, GSM8K et HumanEval se trouvent publiquement sur GitHub, dans des fils de forum et dans mille billets de blog. Filtrer sur des correspondances exactes de texte ne suffit pas : les paraphrases, les traductions et les discussions de solutions contaminent aussi. Les signes qui alertent : un score anormalement élevé sur un ancien jeu de test alors que les résultats sont faibles sur un jeu neuf de même difficulté, ou le modèle qui reproduit la question mot pour mot quand on le lui demande. Les parades : des chaînes canari dans les fichiers de test, des jeux gardés en réserve et jamais publiés, et des benchmarks frais comme LiveCodeBench, dont les tâches sont datées après la date limite des connaissances du modèle.