LLM-leaderboard
Openbare ranglijsten van LLM-prestaties: LMSYS Chatbot Arena (1,5 miljoen+ menselijke stemmen), de Open LLM Leaderboard van HuggingFace en Artificial Analysis (latentie, kosten en kwaliteit). De standaardmanier om modellen te vergelijken.
Chatbot Arena: blinde A/B-test tussen modellen, gebruikers stemmen, uitkomst is een Elo-rating. HuggingFace's leaderboard draait gestandaardiseerde benchmarks (MMLU, GPQA, HellaSwag e.a.) op open-weightmodellen. Vellum en Artificial Analysis volgen kosten, snelheid en kwaliteit van API-aanbieders.
Kanttekening: de kwaliteit van leaderboards is gedaald, want veel benchmarks zijn besmet (zaten in de trainingsdata) of worden bewust gemanipuleerd. Best practice: een eigen evalsuite bouwen voor domeinspecifieke keuzes en niet blind op ranglijsten varen.