Evals
Testy systemów opartych na LLM — automatyczne metryki jakości dla promptów, modeli i przepływów agentowych.
„Dobra aplikacja LLM bez evals to jak programowanie bez testów.” Narzędzia: OpenAI Evals, Anthropic Evals, Braintrust, LangSmith. Metryki: zgodność z faktami, użyteczność, bezpieczeństwo, koszt, opóźnienie. Często łączone z „LLM-as-judge” — oceną wystawianą przez inny LLM.