エージェント評価
ツールを使う多段階タスクでのLLMエージェントの性能を評価すること。単発のLLM評価とは別物。ベンチマークにはSWE-bench（実際のGitHub issue）、GAIA（汎用エージェント支援）、WebArena（ブラウザタスク）、TheAgentCompany（職場タスク）がある。
難しさは、エージェントのタスクには有効な経路が複数あり、部分点もあり得て、実行のたびに環境状態が変わる（非決定的）ことにある。SWE-bench Verifiedは実在するPythonのバグ500件で、エージェントは修正してテストを通さなければならない。2025年の上位スコアは75〜80%台だった。トレース分析では、実行ごとにすべての行動と観察を記録し、失敗パターンを調べる。単一関数のコーディングを測るHumanEvalは、エージェント的コーディングではSWE-benchに取って代わられた。本番では、顧客のタスクごとのエンドツーエンド評価が理想である。