Chatbot Arena
Dil modelleri için kör ikili karşılaştırmalara dayanan bir liderlik tablosu. 2023’te UC Berkeley’deki LMSYS grubu başlattı, bugün LMArena adıyla işletiliyor.
Bir soru sorarsınız, iki anonim yanıt alırsınız, daha iyisine oy verirsiniz — modeller ancak sonra açıklanır. Oylar Bradley–Terry modeliyle (genelde Elo denir) güven aralıklı bir sıralamaya dönüştürülür. Gücü, çoktan seçmeli sınavlar yerine gerçek sorularda gerçek insan tercihini ölçmesidir; bu da ona doğrudan karşı eğitim yapmayı zorlaştırır. Zayıflıkları iyi belgelenmiş: kullanıcılar uzunluğu, biçimlendirmeyi ve kendinden emin tonu ödüllendirir, soru karışımı temsili değildir ve laboratuvarlar birkaç özel varyantı sınayıp tesadüfen kazananı yayımlayabilir. Diğer ölçütlerin yerine değil, onlarla birlikte okuyun.