Evaluación de LLM
Medir cuán "bueno" es un LLM. Es multidimensional: conocimiento (MMLU), razonamiento (GPQA), código (HumanEval, SWE-bench), generalización (ARC-AGI), preferencia humana (Elo de Chatbot Arena).
Los benchmarks clásicos se "saturan" rápido: en cuanto GPT-4 y sus sucesores superan el 90% en MMLU, hacen falta pruebas más duras. SWE-bench (issues reales de GitHub) y ARC-AGI (rompecabezas visuales de razonamiento) son los benchmarks de frontera de la era 2024. Chatbot Arena (LMSYS) usa una puntuación Elo obtenida de preferencias humanas a ciegas — más relevante que los benchmarks estáticos. La evaluación como servicio ya existe: Braintrust, LangSmith. LLM-as-a-judge es una técnica habitual (un modelo potente califica las respuestas de otro), aunque controvertida por el sesgo que introduce.