Матрица ошибок
Таблица, сопоставляющая предсказания модели с реальностью. Для бинарной задачи в ней четыре ячейки: истинно положительные, ложноположительные, ложноотрицательные и истинно отрицательные. Все остальные метрики считаются отсюда.
Precision — доля найденного моделью, что действительно было искомым; recall — доля существовавшего, что модель нашла. Они тянут в разные стороны, и что важнее, зависит от задачи: скрининг рака не должен пропускать больных, а спам-фильтр не должен выбрасывать настоящие письма. Accuracy почти всегда вводит в заблуждение. Если мошенничество составляет один процент транзакций, модель, всегда отвечающая «нет», точна на 99 процентов и бесполезна. Матрица показывает это сразу: весь положительный столбец пуст. Для нескольких классов она превращается в квадратную таблицу, где самое интересное — ошибки вне диагонали.