Chatbot Arena
Classifica dei modelli linguistici basata su confronti a coppie alla cieca. Avviata nel 2023 dal gruppo LMSYS della UC Berkeley, oggi gestita come LMArena.
Si pone una domanda, si ricevono due risposte anonime, si vota la migliore e solo dopo vengono rivelati i modelli. I voti sono aggregati con un modello di Bradley–Terry (di solito chiamato Elo) in una classifica con intervalli di confidenza. Il punto di forza è che misura la preferenza umana reale su domande vere anziché su esami a scelta multipla, il che rende difficile addestrarsi direttamente contro di essa. I punti deboli sono ben documentati: gli utenti premiano lunghezza, formattazione e tono sicuro, la miscela di domande non è rappresentativa e i laboratori possono testare più varianti private e pubblicare quella che ha vinto per caso. Va letta insieme ad altre metriche, non al loro posto.