XGBoost
Libreria per il gradient boosting di alberi decisionali, pubblicata nel 2014 da Tianqi Chen. Ha dominato Kaggle al punto che «prova prima XGBoost» è diventato il consiglio standard per i dati tabellari — e in gran parte lo è ancora.
L'idea è vecchia (Friedman, 1999): costruire alberi in sequenza, ognuno dei quali corregge gli errori dei precedenti. XGBoost l'ha resa pratica con la regolarizzazione nella funzione obiettivo, i gradienti del secondo ordine, la ricerca dei punti di divisione basata su istogrammi, la gestione nativa dei valori mancanti, il campionamento delle colonne e una parallelizzazione efficiente su più core e più macchine. I concorrenti LightGBM (Microsoft, crescita per foglie, più veloce su dataset grandi) e CatBoost (Yandex, forte con le variabili categoriche) sono sostanzialmente equivalenti. Sui dati strutturati questi metodi battono ancora le reti neurali nella maggior parte dei confronti.