LLM-as-judge
あるLLMの出力を別のLLMに採点させる手法。「人手による評価」を数百件から数百万件へ安く拡張できる。
2023年のMT-Bench論文で広まった。GPT-4に2つのLLMの回答を比べさせ、良いほうを選ばせる方式である。形式は2つあり、ペアワイズ（AとBの比較）とポイントワイズ（ルーブリックによる1〜5点の採点）。批判も多く、審査役には長い回答を好む、最初の選択肢を好む（位置バイアス）といった系統的な偏りがあり、自分の知識を超える判断もできない。現在の定石は、人手でラベル付けした基準でジャッジを較正することと、Prometheusやjudgeに特化したJudgeLMのような専用ファインチューニングを使うこと。今ではLLMOpsスタックの標準部品である。