LLM評価
LLMがどれだけ「優秀」かを測ること。多面的で、知識（MMLU）、推論（GPQA）、コード（HumanEval、SWE-bench）、汎化（ARC-AGI）、人間の選好（Chatbot ArenaのElo）などがある。
従来のベンチマークはすぐに「飽和」する。GPT-4級はMMLUで90%超を出すため、より難しい試験が必要になる。実際のGitHub課題を使うSWE-benchと、視覚的な推論パズルのARC-AGIは、2024年頃の最先端ベンチマークだ。Chatbot Arena（LMSYS）は、人間によるブラインド比較に基づくEloレーティングで、静的なベンチマークより実態に近い。評価サービスにはBraintrustやLangSmithがある。強いモデルに回答を採点させる「LLM-as-a-judge」も一般的な手法だが、バイアスの問題があり議論が多い。