IT用語集 › AI & 機械学習 › Evals(評価)
LLMシステムのためのテスト。プロンプト、モデル、エージェント的なフローを自動で品質指標にかける。
「評価のないLLMアプリは、テストのないプログラミングのようなものだ」と言われる。ツールにはOpenAI Evals、Anthropic Evals、Braintrust、LangSmithなどがある。指標は事実性、有用性、安全性、コスト、レイテンシ。別のLLMに採点させる「LLM-as-judge」と組み合わせることも多い。