ROC-AUC
選ぶ閾値に左右されず、モデルがどれだけうまく「順位付け」できるかを測る指標。ROC曲線は全閾値における真陽性率と偽陽性率を描き、AUCはその曲線の下の面積だ。
この数値には分かりやすい解釈がある。AUCは、ランダムに選んだ陽性例に、ランダムに選んだ陰性例より高いスコアを付ける確率に等しい。0.5は当てずっぽう、1.0は完璧な順位付けを意味する。ROCはreceiver operating characteristic（受信者動作特性）の略で、第二次世界大戦でレーダー操作員が航空機とノイズを見分けていた場面に由来する。
注意点は不均衡データだ。偽陽性率は分母に巨大な陰性の塊を抱えているため、AUCが見かけ上は優秀でも、実用上は役に立たないモデルがあり得る。陽性が稀なときは PR-AUC を使うこと。