Ewaluacja LLM
Ocena jakości odpowiedzi LLM. Dwie kategorie: ewaluacje benchmarkowe (MMLU, GPQA, SWE-bench — stałe zbiory danych) i produkcyjne (oparte na realnym ruchu, często z LLM-em w roli sędziego). Standard inżynierii ML od 2024 roku.
Narzędzia: OpenAI Evals, LangSmith, Braintrust, Helicone, Phoenix (Arize). Mierzy się poprawność faktów, odsetek halucynacji, zgodność z formatem, bezpieczeństwo, opóźnienie i koszt. Zbiór testowy powinien odzwierciedlać produkcję, z ręcznie oznaczonym wzorcem albo z LLM-em jako sędzią, gdy trzeba skali. Dobra praktyka: eval-driven development — najpierw pisze się ewaluacje, potem iteruje prompt, model i narzędzia. W erze przed LLM zespoły ML używały precision, recall i F1; teraz otwarte odpowiedzi wymagają LLM-as-judge albo ocen ludzkich. Nie to samo co observability (opóźnienia, błędy): ewaluacja dotyczy jakości odpowiedzi.