XGBoost
Biblioteca de gradient boosting de árvores de decisão, lançada em 2014 por Tianqi Chen. Dominou o Kaggle a ponto de "tente o XGBoost primeiro" virar o conselho padrão para dados tabulares — e em grande parte ainda é.
A ideia é antiga (Friedman, 1999): construir árvores em sequência, cada nova árvore corrigindo os erros das anteriores. O XGBoost a tornou prática com regularização na função objetivo, gradientes de segunda ordem, busca de divisões baseada em histogramas, tratamento nativo de valores ausentes, subamostragem de colunas e paralelismo eficiente entre núcleos e máquinas. Os concorrentes LightGBM (Microsoft, crescimento por folha, mais rápido em conjuntos grandes) e CatBoost (Yandex, forte em variáveis categóricas) são, na prática, equivalentes. Em dados estruturados, esses métodos ainda superam as redes neurais na maioria das comparações.