XGBoost
Biblioteca de gradient boosting sobre árboles de decisión, publicada en 2014 por Tianqi Chen. Dominó Kaggle hasta el punto de que "probar XGBoost primero" se convirtió en el consejo estándar para datos tabulares — y en gran medida lo sigue siendo.
La idea es antigua (Friedman, 1999): construir árboles de forma secuencial, donde cada árbol nuevo corrige los errores de los anteriores. XGBoost la hizo práctica gracias a la regularización en la función objetivo, gradientes de segundo orden, búsqueda de splits basada en histogramas, gestión integrada de valores ausentes, muestreo de columnas y una paralelización eficiente entre núcleos y máquinas. Sus competidores, LightGBM (Microsoft, crecimiento leaf-wise, más rápido en datasets grandes) y CatBoost (Yandex, fuerte con variables categóricas), son en la práctica equivalentes. En datos estructurados, estos métodos siguen ganando a las redes neuronales en la mayoría de comparativas.