XGBoost
2014年にTianqi Chenが公開した、決定木の勾配ブースティング用ライブラリ。Kaggleを席巻し、表形式データなら「まずXGBoost」が定番の助言になった。今でもおおむねそうである。
発想自体は古く、Friedmanが1999年に示した。木を順に作り、新しい木が前の木の誤差を補正していく方式である。XGBoostは、目的関数への正則化、二次勾配、ヒストグラムによる分割探索、欠損値の組み込み処理、列サンプリング、コアやマシンをまたぐ効率的な並列化によって、これを実用的にした。
競合のLightGBM(Microsoft、リーフ優先成長で大規模データに速い)とCatBoost(Yandex、カテゴリ変数に強い)も実質的に同格である。構造化データでは、これらの手法が今もたいていニューラルネットワークを上回る。