Chatbot Arena
ブラインドの一対比較で言語モデルを順位付けするリーダーボード。2023年にUCバークレーのLMSYSグループが始め、現在はLMArenaとして運営されている。
質問を投げると匿名の回答が二つ返ってくる。良い方に投票して初めて、どのモデルかが明かされる。票はBradley–Terryモデル（通称Elo）で集計され、信頼区間付きの順位になる。強みは、選択式の試験ではなく実際の質問に対する人間の好みを測る点で、直接対策した学習がしにくい。弱点もよく知られている。ユーザーは長さ、書式、自信ありげな口調を高く評価しがちで、質問の分布は代表的ではなく、各社は非公開の亜種を複数試して勝ったものだけを公開できる。他の指標の代わりではなく、併用して読むべきものだ。