MMLU
Daha fazla bilgi
- Yayın yılı
- Tür
- Benchmark
57 alanı kapsayan çoktan seçmeli bir benchmark; bir dil modelinin ne kadar “bilgili” olduğunu ölçen standart olarak uzun süre kullanıldı.
2020’de Hendrycks ve arkadaşları tarafından yayımlandı: hukuk, tıp, matematik, tarih ve daha fazlasından, lise düzeyinden uzman düzeyine, 16.000’e yakın soru. Rastgele tahmin %25 puan alır.
Her model duyurusunda sektörün manşet rakamı oldu — ve bu yüzden doygunluğa ulaştı. Öncü modeller %88’in üzerinde; kalan hataların çoğu veri kümesindeki yanlış cevap anahtarlarından geliyor ve eğitim verisi kirlenmesi de göz ardı edilemiyor. Halefleri: MMLU-Pro ve GPQA.