XGBoost
Bibliotek för gradient boosting av beslutsträd, släppt 2014 av Tianqi Chen. Dominerade Kaggle så till den grad att "prova XGBoost först" blev standardrådet för tabelldata — och är det i stor utsträckning fortfarande.
Idén är gammal (Friedman, 1999): bygg träd sekventiellt där varje nytt träd rättar föregående trädens fel. XGBoost gjorde den praktisk med regularisering i objektivfunktionen, andra ordningens gradienter, histogrambaserad splitsökning, inbyggd hantering av saknade värden, kolumnsampling och effektiv parallellisering över kärnor och maskiner. Konkurrenterna LightGBM (Microsoft, leaf-wise växt, snabbare på stora dataset) och CatBoost (Yandex, bra på kategoriska variabler) är i praktiken likvärdiga. På strukturerad data slår de här metoderna fortfarande neurala nät i de flesta jämförelser.