Стенд оценки моделей (eval harness)
Стандартизированный фреймворк, который автоматически и воспроизводимо прогоняет языковую модель через набор бенчмарков и измеряет её результаты. «Испытательный стенд», позволяющий сравнивать модели на равных условиях.
Зачем: оценка LLM требует прогона множества задач (MMLU, HellaSwag, GSM8K, HumanEval и других), единообразного оформления промптов, сбора ответов и подсчёта баллов — вручную это муторно и чревато ошибками, а мелкие различия в промпте дают разные результаты. Eval harness всё это стандартизирует, и цифры становятся сопоставимыми и воспроизводимыми. Самый распространённый — lm-evaluation-harness от EleutherAI (на нём, в частности, работает Open LLM Leaderboard на Hugging Face). Отличается от отдельного бенчмарка (это набор данных): harness — инфраструктура, запускающая любые бенчмарки. Отличается и от продакшен-оценок (доменных, часто с LLM в роли судьи). Основа для достоверных сравнений моделей.