ROC-AUC
Ein Maß dafür, wie gut ein Modell rangordnet – unabhängig davon, welchen Schwellenwert man wählt. Die ROC-Kurve trägt den Anteil richtig Positiver gegen den Anteil falsch Positiver für alle möglichen Schwellenwerte auf; AUC ist die Fläche darunter.
Die Zahl lässt sich angenehm interpretieren: AUC ist die Wahrscheinlichkeit, dass das Modell einem zufällig gewählten positiven Beispiel einen höheren Score gibt als einem zufällig gewählten negativen. 0,5 entspricht dem Zufall, 1,0 einer perfekten Rangordnung. Die Abkürzung steht für receiver operating characteristic und stammt von Radaroperatoren im Zweiten Weltkrieg, die Flugzeuge von Rauschen unterscheiden mussten. Die wichtige Einschränkung betrifft unausgewogene Daten: Da der Anteil falsch Positiver die gesamte große negative Masse im Nenner hat, kann AUC hervorragend aussehen, während das Modell in der Praxis nutzlos ist. Bei seltenen positiven Fällen sollte man stattdessen PR-AUC verwenden.