ROC-AUC
Мера того, насколько хорошо модель ранжирует объекты независимо от выбранного порога: ROC-кривая показывает долю истинно положительных против доли ложноположительных при всех порогах, а AUC — площадь под ней.
У числа есть приятная интерпретация: AUC — вероятность того, что модель поставит случайному положительному примеру более высокую оценку, чем случайному отрицательному. 0,5 — это случайное угадывание, 1,0 — идеальное ранжирование. Аббревиатура расшифровывается как receiver operating characteristic и пришла от радиооператоров Второй мировой, отличавших самолёты от шума. Главная оговорка касается несбалансированных данных: в знаменателе доли ложноположительных стоит весь огромный отрицательный класс, поэтому AUC может выглядеть отлично, а модель на практике — бесполезна. Если положительные примеры редки, берите PR-AUC.