LLM-as-judge
Använd en LLM för att bedöma outputs från en annan LLM — billigt sätt att skala "human evaluation" från hundratals till miljontals samples.
MT-Bench paper (2023) populariserade tekniken — använda GPT-4 för att jämföra två LLM-svar och välja bättre. Två modeller: pairwise (A vs B), pointwise (1–5 score med rubric). Kritik: judges har systematiska bias (preferens för längre svar, "position bias" — föredrar första alternativet), kan inte överträffa egna kunskaper. Modern best practice: kalibrera judge mot human-label-baseline, använd specifikt judge-fine-tunes (Prometheus, JudgeLM). Standard i alla LLMOps-stackar nu.