SGD (descente de gradient stochastique)
L'optimiseur classique de l'entraînement des réseaux de neurones : calculer le gradient sur un mini-lot (et non sur tout le jeu de données), faire un pas en sens inverse, recommencer. Robbins & Monro (1951).
SGD de base : θ ← θ - lr · ∇L. Extensions : le momentum (moyenne sur les gradients récents) et le momentum de Nesterov (anticipation). Elles aident à traverser les ravins de la fonction de perte et accélèrent la convergence.
Pour les LLM modernes, AdamW a pris le dessus, mais SGD + momentum bat encore Adam sur certaines tâches de vision par ordinateur (entraînement de ResNet sur ImageNet). La raison reste incertaine — peut-être une régularisation implicite.