MMLU
詳細情報
- 公開年
- 種類
- ベンチマーク
57科目にわたる多肢選択式のベンチマーク。言語モデルがどれだけ「物知り」かを測る標準的な物差しとして長く使われた。
Hendrycksらが2020年に公開した。法律、医学、数学、歴史などから集めた約1万6000問で、難易度は高校レベルから専門家レベルまで。ランダムに答えた場合の正答率は25%になる。
モデルのリリースのたびに業界の看板数字として使われ、その結果、飽和した。最先端モデルは88%を超え、残る誤りの大半はデータセット側の誤った正解ラベルによるもので、学習データ汚染の可能性も排除しにくい。後継はMMLU-ProとGPQAである。