LLM-evaluatie
Meten hoe "goed" een LLM is. Multidimensionaal: kennis (MMLU), redeneren (GPQA), code (HumanEval, SWE-bench), generalisatie (ARC-AGI) en menselijke voorkeur (Chatbot Arena Elo).
Klassieke benchmarks raken snel "verzadigd": GPT-4 en later halen >90 % op MMLU, dus er zijn moeilijkere tests nodig. SWE-bench (echte GitHub-issues) en ARC-AGI (visuele redeneerpuzzels) zijn de benchmarks van de voorhoede rond 2024. Chatbot Arena (LMSYS) is een Elo-rating op basis van blinde menselijke voorkeur, relevanter dan statische benchmarks. Eval-as-a-service: Braintrust, LangSmith. LLM-as-a-judge is een gangbare techniek (een sterk model beoordeelt de antwoorden), omstreden vanwege vooringenomenheid.