混同行列 (Confusion matrix)
モデルの予測と正解を突き合わせた表。二値分類なら真陽性・偽陽性・偽陰性・真陰性の4マスで、あらゆる評価指標はここから算出される。
適合率(precision)は、モデルが陽性と判定したもののうち本当に陽性だった割合。再現率(recall)は、実際に存在した陽性のうちモデルが見つけた割合だ。両者は引っ張り合う関係にあり、どちらを重んじるかは用途しだいである。がん検診は見逃しを極力避けたいし、スパムフィルターは普通のメールを捨ててはならない。正解率(accuracy)はほぼ常に誤解を招く指標だ。取引の1%が不正だとすると、常に「不正なし」と答えるモデルでも正解率は99%になるが、何の役にも立たない。混同行列なら一目でわかる。陽性の列がまるごと空だからだ。多クラスでは正方形の表になり、注目すべき誤りは対角線の外にある。