LLM-eval
Het beoordelen van de kwaliteit van LLM-uitvoer. Twee soorten: benchmark-evals (MMLU, GPQA, SWE-bench — vaste datasets) en productie-evals (specifiek voor het eigen gebruik, vaak met LLM-as-judge). Standaardvak in ML-engineering sinds 2024.
Tooling: OpenAI Evals, LangSmith, Braintrust, Helicone, Phoenix (Arize). Gemeten wordt onder meer feitelijke juistheid, hallucinatiegraad, naleving van het formaat, veiligheid, latentie en kosten. Een goede testset is representatief voor productie, met handmatig gelabelde ground truth of — voor schaal — een LLM als rechter.
Best practice is eval-driven development: eerst de evals schrijven, daarna prompt, model en tools itereren. Voor de LLM-tijd volstonden precision, recall en F1; open uitvoer vraagt om LLM-as-judge of menselijke beoordeling. Eval is niet hetzelfde als observability: die meet latentie en foutpercentages, eval meet de kwaliteit van het antwoord.