LLM evaluation
Mäta hur "bra" en LLM är. Multi-dimensionellt: knowledge (MMLU), reasoning (GPQA), kod (HumanEval, SWE-bench), generalization (ARC-AGI), human preference (Chatbot Arena Elo).
Klassiska benchmarks blir "snabbt mättade" — GPT-4+ får >90% på MMLU → behöver hårdare tester. SWE-bench (real GitHub issues) + ARC-AGI (visuella reasoning-pussel) är 2024-era frontier-benchmarks. Chatbot Arena (LMSYS) är Elo-rating från blind human preference — mer relevant än statiska benchmarks. Eval-as-a-service: Braintrust, LangSmith. LLM-as-a-judge är vanlig teknik (en stark modell utvärderar svaren) — kontroversiell pga bias.