Evaluation von LLMs
Messen, wie "gut" ein LLM ist. Mehrdimensional: Wissen (MMLU), Schlussfolgern (GPQA), Code (HumanEval, SWE-bench), Generalisierung (ARC-AGI), menschliche Präferenz (Chatbot-Arena-Elo).
Klassische Benchmarks werden schnell "gesättigt" – GPT-4 und Nachfolger erreichen über 90 % bei MMLU, also braucht es härtere Tests. SWE-bench (echte GitHub-Issues) und ARC-AGI (visuelle Reasoning-Rätsel) sind die Frontier-Benchmarks der 2024er-Ära. Chatbot Arena (LMSYS) liefert ein Elo-Rating aus blinder menschlicher Präferenz – relevanter als statische Benchmarks. Eval-as-a-Service: Braintrust, LangSmith. LLM-as-a-Judge ist eine gängige Technik (ein starkes Modell bewertet die Antworten) – umstritten wegen Bias.