LLM-as-judge
Использование одной LLM для оценки ответов другой — дешёвый способ масштабировать «оценку людьми» с сотен примеров до миллионов.
Метод популяризировала статья MT-Bench (2023): GPT-4 сравнивает два ответа LLM и выбирает лучший. Два режима: попарный (A против B) и поточечный (оценка 1–5 по рубрике). Критика: у судей есть систематические смещения (любовь к длинным ответам, «позиционное смещение» — предпочтение первого варианта), и они не могут знать больше, чем знают сами. Современная практика: калибровать судью по размеченной людьми базе, использовать специализированные дообученные модели (Prometheus, JudgeLM). Сегодня это стандарт любого стека LLMOps.