MMLU
Подробнее
- Год
- Тип
- Бенчмарк
Тест с выбором ответа по 57 предметам, который долго служил стандартной мерой «эрудиции» языковой модели.
Опубликован Хендриксом с соавторами в 2020 году: чуть меньше 16 000 вопросов по праву, медицине, математике, истории и другим областям — от школьного до экспертного уровня. Случайное угадывание даёт 25 %.
Стал главной цифрой в каждом релизе модели — и поэтому насытился. Передовые модели набирают больше 88 %, остаточные ошибки в основном вызваны неверными ключами в самом датасете, а исключить утечку тестовых данных в обучение трудно. Преемники: MMLU-Pro и GPQA.