データ汚染
テストデータが学習データに紛れ込んでしまうこと。モデルは問題を解いたのではなく、答えを覚えていただけになり、ベンチマークの数値は意味を失う。
Web全体から学習データを集めれば、ほぼ避けられない。MMLU、GSM8K、HumanEvalといったベンチマークはGitHubやフォーラム、無数のブログに公開されているためだ。完全一致のテキストを除外するだけでは足りず、言い換えや翻訳、解答の解説文も汚染源になる。兆候は、古いテストセットでのスコアが異常に高いのに、同程度の難易度の新しい問題では成績が振るわないこと、あるいは問題文をそのまま再現してしまうことである。
対策には、テストファイルへのカナリア文字列の埋め込み、非公開のホールドアウトセット、モデルの知識カットオフ以降の日付の問題を使うLiveCodeBenchのような新しいベンチマークがある。