GPQA
Graduate-Level Google-Proof Q&A — бенчмарк из 448 вопросов уровня PhD по биологии, физике и химии. Создан в 2023 году Дэвидом Рейном с коллегами. «Google-proof» означает, что эксперту нужно свыше 30 минут и несколько источников, чтобы ответить.
Задуман как трудный тест для LLM: MMLU и подобные «школьные» тесты быстро насытились. Подмножество Diamond (198 вопросов) ещё сложнее. Люди: примерно 65 % у экспертов в своей области, около 34 % у неспециалистов. GPT-4 — около 39 %, Claude 3 Opus — около 50 %, GPT-4o — около 56 %, o1 — 78 %, GPT-5 — 88 %. Когда передовые модели преодолеют 90 %, понадобятся новые бенчмарки (Humanity's Last Exam, FrontierMath). Именно результаты Diamond цитирует каждый пресс-релиз об «ИИ-бенчмарках» в 2024–2025 годах.