Valutazione degli LLM
Il processo di valutazione della qualità dell'output di un LLM. Due categorie: eval su benchmark (MMLU, GPQA, SWE-bench: dataset fissi) ed eval in produzione (specifiche del traffico reale, spesso con LLM-as-judge). Disciplina standard dell'ingegneria ML dal 2024.
Strumenti: OpenAI Evals, LangSmith, Braintrust, Helicone, Phoenix (Arize). Categorie: correttezza fattuale, tasso di allucinazioni, rispetto del formato, sicurezza, latenza, costo. Progettazione del test set: rappresentativo della produzione, con ground truth etichettata a mano oppure LLM-as-judge per la scala. Buona pratica attuale: sviluppo guidato dalle eval, cioè scrivere prima le eval e poi iterare su prompt, modello e strumenti. Prima degli LLM i team ML usavano precision, recall e F1; l'era degli LLM richiede la valutazione di output aperti, cioè LLM-as-judge o giudizio umano. Da non confondere con l'osservabilità (latenza, tasso di errore): eval = qualità dell'output.