GPQA
Graduate-Level Google-Proof Q&A — benchmark av 448 PhD-level frågor i biologi/fysik/kemi. Skapad 2023 av David Rein et al. "Google-proof" = experter måste konsultera flera källor i 30+ min för att lösa.
Avsedd som hard test för LLMs — MMLU och liknande "high-school"-tester mättades snabbt. Diamond-subset (198 frågor) extra svår. Människor: ~65% accuracy domain-expert, ~34% non-expert. GPT-4: ~39%, Claude 3 Opus: ~50%, GPT-4o: ~56%, o1: 78%, GPT-5: 88%. När frontier-modeller passerar 90% behövs nya benchmarks (Humanity's Last Exam, FrontierMath). Diamond-scores är vad alla "AI benchmark" press-releases citerar 2024-2025.