ROC-AUC
Miara tego, jak dobrze model szereguje przykłady, niezależnie od wybranego progu. Krzywa ROC pokazuje czułość względem odsetka fałszywych alarmów dla wszystkich progów, a AUC to pole pod nią.
Liczba ma przyjemną interpretację: AUC to prawdopodobieństwo, że model przypisze losowemu przykładowi pozytywnemu wyższy wynik niż losowemu negatywnemu. 0,5 to zgadywanie, 1,0 to idealny ranking. Skrót pochodzi od receiver operating characteristic i wywodzi się od operatorów radarów z czasów II wojny światowej, którzy odróżniali samoloty od szumu. Ważne zastrzeżenie dotyczy danych niezbalansowanych: odsetek fałszywych alarmów ma w mianowniku całą ogromną masę negatywów, więc AUC może wyglądać świetnie, choć w praktyce model jest bezużyteczny. Gdy pozytywów jest mało, użyj PR-AUC.