MMLU
Maggiori informazioni
- Anno
- Tipo
- Benchmark
Benchmark a risposta multipla su 57 materie, per anni la misura standard di quanto sia «colto» un modello linguistico.
Pubblicato da Hendrycks e colleghi nel 2020: poco meno di 16.000 domande di diritto, medicina, matematica, storia e altro, dal livello scolastico a quello da esperti. Rispondere a caso dà il 25%.
Divenne il numero in prima pagina di ogni lancio di modelli e, di conseguenza, si saturò. I modelli di frontiera superano l'88%, gran parte dell'errore residuo dipende da risposte sbagliate nel dataset e la contaminazione dei dati di addestramento è difficile da escludere. Successori: MMLU-Pro e GPQA.