評価ハーネス（Eval harness）
言語モデルを一連のベンチマークにかけ、性能を自動かつ再現可能に測るための標準的な枠組み。異なるモデルを同じ条件で比べられるようにする「試験台」だ。
LLMの評価では、MMLU、HellaSwag、GSM8K、HumanEvalなど多数のタスクを回し、プロンプトの形式を揃え、回答を集めて採点する必要がある。手作業では手間がかかって間違えやすく、プロンプトがわずかに違うだけで結果も変わる。評価ハーネスはこれらを標準化し、数値を比較可能で再現可能にする。
最も使われているのはEleutherAIのlm-evaluation-harnessで、Hugging FaceのOpen LLM Leaderboardもこれで動いていた。データセットである個々のベンチマークとは別物で、どのベンチマークでも走らせる基盤にあたる。ドメイン固有で、LLM-as-judgeを使うことの多い本番評価とも異なる。