LLM-as-judge
Een LLM gebruiken om de uitvoer van een ander LLM te beoordelen: een goedkope manier om ‘menselijke evaluatie’ op te schalen van honderden naar miljoenen voorbeelden.
Het MT-Bench-artikel (2023) maakte de techniek bekend: GPT-4 vergelijkt twee antwoorden en kiest het beste. Twee varianten: pairwise (A tegen B) en pointwise (score 1–5 met rubric). Kritiek: rechters hebben systematische vooroordelen (voorkeur voor langere antwoorden, ‘positiebias’ ten gunste van de eerste optie) en kunnen hun eigen kennis niet overstijgen. Huidige best practice: de rechter kalibreren tegen een door mensen gelabelde baseline en rechtergerichte finetunes gebruiken (Prometheus, JudgeLM). Inmiddels standaard in elke LLMOps-stack.