MMLU
Multiple-Choice-Benchmark über 57 Fachgebiete, der lange als Standardmaß dafür galt, wie „kundig" ein Sprachmodell ist.
Veröffentlicht 2020 von Hendrycks et al.: knapp 16.000 Fragen aus Jura, Medizin, Mathematik, Geschichte und mehr, vom Gymnasial- bis zum Expertenniveau. Zufälliges Raten ergibt 25 %.
Wurde zur Standardkennzahl jeder Modellveröffentlichung — und damit auch gesättigt. Spitzenmodelle liegen über 88 %, der verbleibende Fehler wird von falschen Musterlösungen im Datensatz dominiert, und eine Kontamination durch Trainingsdaten lässt sich kaum ausschließen. Nachfolger: MMLU-Pro und GPQA.