Eval harness
Un marco estandarizado para ejecutar un modelo de lenguaje contra un conjunto de benchmarks y medir su rendimiento de forma automática y reproducible. El "banco de pruebas" que permite comparar modelos distintos en igualdad de condiciones.
Por qué existe: evaluar un LLM implica hacerlo pasar por muchas tareas (MMLU, HellaSwag, GSM8K, HumanEval y otras), formatear los prompts de manera consistente, recoger las respuestas y puntuarlas — algo tedioso y propenso a errores si se hace a mano, y donde pequeñas diferencias en el prompt cambian el resultado. Un eval harness estandariza todo esto para que las cifras sean comparables y reproducibles. El más usado es lm-evaluation-harness, de EleutherAI, que entre otras cosas alimenta el Open LLM Leaderboard de Hugging Face. Se diferencia de un benchmark individual (que es solo un dataset): el harness es la infraestructura que ejecuta cualquier benchmark. También se distingue de los evals de producción (específicos de cada dominio, a menudo con un LLM como juez). Es la base de cualquier comparación de modelos que merezca crédito.