Chatbot Arena LMArena

Du ställer en fråga, får två anonyma svar, röstar på det bättre — först därefter avslöjas vilka modeller det var. Rösterna aggregeras med en Bradley–Terry-modell (ofta kallad Elo) till en rankning med konfidensintervall. Styrkan är att den mäter faktisk mänsklig preferens på verkliga frågor istället för flervalsprov, vilket gör den svår att träna direkt mot. Svagheterna är väldokumenterade: användarna belönar längd, formatering och självsäker ton, urvalet av frågor är inte representativt, och labben kan testa flera privata varianter innan de släpper den som råkade vinna. Läs den tillsammans med andra mätetal, inte istället för dem.