決定木
古典的な機械学習アルゴリズム。内部ノードが特徴量に対する判定、葉が結論となる木構造をなす。解釈しやすく、特徴量のスケーリングも不要で、ランダムフォレストやXGBoostの基礎でもある。
代表的なアルゴリズムは、ID3（Quinlan、1986年）、C4.5、CART（Breiman）で、情報利得やジニ不純度を基準に分割する。弱点は過学習で、対策として枝刈りを行う。現代の機械学習コンペではアンサンブル手法が主流である。ランダムフォレスト（多数の木をブートストラップ集約したもの）や、勾配ブースティングのXGBoost、LightGBM、CatBoostはKaggleの常連だ。ニューラルネットワークに対する決定的な強みは解釈性で、医療や金融のような規制の厳しい分野で重宝される。