Оценка LLM
Измерение того, насколько «хороша» LLM. Многомерная задача: знания (MMLU), рассуждение (GPQA), код (HumanEval, SWE-bench), обобщение (ARC-AGI), предпочтения людей (рейтинг Elo в Chatbot Arena).
Классические бенчмарки быстро «насыщаются»: GPT-4 и новее набирают больше 90 % в MMLU — нужны более трудные тесты. SWE-bench (реальные задачи с GitHub) и ARC-AGI (визуальные головоломки на рассуждение) — передовые бенчмарки эпохи 2024 года. Chatbot Arena (LMSYS) — рейтинг Elo по слепым оценкам людей, он показательнее статических тестов. Есть и сервисы оценки: Braintrust, LangSmith. Частая техника — LLM-as-a-judge (сильная модель оценивает ответы), но она спорна из-за смещений.