SGD (Descida do Gradiente Estocástica)
Otimizador clássico de treinamento de redes neurais: calcula o gradiente em um mini-batch (e não no conjunto de dados inteiro), dá um passo na direção oposta e repete. Robbins & Monro (1951).
SGD puro: θ ← θ - lr · ∇L. Extensões: momentum (média dos gradientes recentes) e momentum de Nesterov (olhar adiante). Ajuda a atravessar vales estreitos e acelera a convergência.
Nos LLMs modernos o AdamW assumiu, mas o SGD com momentum ainda supera o Adam em algumas tarefas de visão computacional (treinar ResNet no ImageNet). O motivo é incerto — talvez regularização implícita.