LLM-as-judge
Usare un LLM per valutare l'output di un altro LLM: un modo economico per portare la «valutazione umana» da centinaia a milioni di campioni.
Il paper MT-Bench (2023) ha reso popolare la tecnica: usare GPT-4 per confrontare due risposte di LLM e scegliere la migliore. Due modalità: a coppie (A contro B) e puntuale (punteggio da 1 a 5 con rubrica). Critiche: i giudici hanno bias sistematici (preferenza per le risposte più lunghe, «position bias», cioè la preferenza per la prima opzione) e non possono superare le proprie conoscenze. Buona pratica attuale: calibrare il giudice su un riferimento etichettato da persone e usare fine-tuning specifici per il giudizio (Prometheus, JudgeLM). Oggi è standard in ogni stack LLMOps.