SGD (stochastyczny spadek gradientu)
Klasyczny optymalizator do trenowania sieci neuronowych: oblicz gradient na mini-batchu (nie na całym zbiorze), zrób krok w przeciwnym kierunku, powtórz. Robbins i Monro (1951).
Waniliowy SGD: θ ← θ - lr · ∇L. Rozszerzenia: pęd (momentum, uśrednianie po ostatnich gradientach) i pęd Nesterowa (patrzenie w przód). Pomaga poruszać się po wąwozach funkcji straty i przyspiesza zbieżność.
W nowoczesnych LLM-ach przejął stery AdamW, ale SGD z pędem nadal bije Adama w niektórych zadaniach widzenia komputerowego (trening ResNet na ImageNet). Powód jest niepewny — być może niejawna regularyzacja.