XGBoost
Karar ağaçlarında gradyan artırma için kütüphane; 2014'te Tianqi Chen yayımladı. Kaggle'a öyle hâkim oldu ki "önce XGBoost'u dene" tablo verisi için varsayılan öğüt hâline geldi ve büyük ölçüde hâlâ öyle.
Fikir eskidir (Friedman, 1999): ağaçlar sırayla kurulur, her yeni ağaç öncekilerin hatalarını düzeltir. XGBoost bunu pratik kıldı: amaç fonksiyonunda düzenlileştirme, ikinci dereceden gradyanlar, histogram tabanlı bölünme arama, eksik değerlerin yerleşik işlenmesi, sütun alt örnekleme ve çekirdekler ile makineler arasında verimli paralellik. Rakipler LightGBM (Microsoft, yaprak-öncelikli büyüme, büyük veri kümelerinde daha hızlı) ve CatBoost (Yandex, kategorik özelliklerde güçlü) pratikte denktir. Yapılandırılmış veride bu yöntemler çoğu karşılaştırmada hâlâ sinir ağlarını geçer.