LLM-as-judge
Wykorzystanie jednego LLM-a do oceniania odpowiedzi innego — tani sposób, by „ocenę przez ludzi” skalować ze setek do milionów próbek.
Technikę rozpowszechnił artykuł o MT-Bench (2023): GPT-4 porównuje dwie odpowiedzi modeli i wskazuje lepszą. Dwa tryby: parami (A kontra B) oraz punktowy (skala 1–5 według rubryki). Krytyka: sędziowie mają systematyczne skłonności — wolą dłuższe odpowiedzi i cierpią na „position bias”, czyli faworyzowanie pierwszej opcji — a ponadto nie wyjdą poza własną wiedzę. Dobra praktyka: skalibrować sędziego na zbiorze ocenionym przez ludzi lub użyć wyspecjalizowanych modeli (Prometheus, JudgeLM). Dziś standard w każdym stosie LLMOps.