Eval harness
Um framework padronizado para rodar um modelo de linguagem contra um conjunto de benchmarks e medir seu desempenho de forma automática e reproduzível. A "bancada de testes" que permite comparar modelos em pé de igualdade.
Por quê: avaliar um LLM exige rodá-lo em muitas tarefas (MMLU, HellaSwag, GSM8K, HumanEval e outras), formatar os prompts de modo consistente, coletar as respostas e pontuá-las — trabalhoso e sujeito a erros quando feito à mão, e pequenas diferenças no prompt dão resultados diferentes. Um eval harness padroniza tudo isso, e os números passam a ser comparáveis e reproduzíveis. O mais usado é o lm-evaluation-harness da EleutherAI (que alimenta, entre outros, o Open LLM Leaderboard do Hugging Face). Não se confunde com um benchmark isolado (que é um dataset) — o harness é a infraestrutura que roda quaisquer benchmarks. Também é diferente de evals em produção (específicos de domínio, muitas vezes com LLM-as-judge). A base de comparações de modelos com credibilidade. Relacionado a avaliação de LLMs e ao leaderboard de LLMs.