Evals
Тесты для LLM-систем — автоматические метрики качества промптов, моделей и агентных сценариев.
«Хорошее LLM-приложение без evals — как программирование без тестов». Инструменты: OpenAI Evals, Anthropic Evals, Braintrust, LangSmith. Метрики: фактологичность, полезность, безопасность, стоимость, задержка. Часто сочетаются с «LLM-as-judge» — оценкой одной LLM другой.