Chatbot Arena
Рейтинг языковых моделей, построенный на слепых парных сравнениях. Запущен в 2023 году группой LMSYS из Калифорнийского университета в Беркли, теперь работает как LMArena.
Вы задаёте вопрос, получаете два анонимных ответа, голосуете за лучший — и только потом узнаёте, какие это модели. Голоса агрегируются моделью Брэдли — Терри (обычно её называют Elo) в рейтинг с доверительными интервалами. Сила подхода в том, что он измеряет реальные предпочтения людей на настоящих вопросах, а не тесты с выбором ответа, и потому под него трудно обучаться напрямую. Слабости хорошо известны: пользователи вознаграждают длину, оформление и уверенный тон, набор вопросов нерепрезентативен, а лаборатории могут тестировать несколько закрытых вариантов и выпустить тот, которому повезло. Читать стоит вместе с другими метриками, а не вместо них.