Drzewo decyzyjne
Klasyczny algorytm ML: struktura drzewa, w której każdy węzeł wewnętrzny testuje cechę, a każdy liść jest decyzją. Łatwy do interpretacji, nie wymaga skalowania cech. Podstawa Random Forest i XGBoost.
Klasyczne algorytmy: ID3 (Quinlan, 1986), C4.5, CART (Breiman). Podział według przyrostu informacji lub nieczystości Giniego. Ryzyko: przeuczenie → przycinanie. Współczesne konkursy ML wygrywają metody zespołowe: Random Forest (bagging wielu drzew) oraz XGBoost, LightGBM i CatBoost (wzmacnianie gradientowe, wygrywają na Kaggle). Interpretowalność to główny atut wobec sieci neuronowych w branżach regulowanych (medycyna, fintech).