SGD (Stochastic Gradient Descent)
El optimizador clásico del entrenamiento neuronal: calcular el gradiente sobre un mini-batch (no sobre todo el dataset), dar un paso en dirección contraria, repetir. Robbins y Monro (1951).
SGD a secas: θ ← θ - lr · ∇L. Extensiones: momentum (media de los últimos gradientes) y momentum de Nesterov (con anticipación). Ayudan a navegar barrancos y aceleran la convergencia.
En los LLM modernos AdamW ha tomado el relevo, pero SGD con momentum aún gana a Adam en algunas tareas de visión por computador (entrenar ResNet en ImageNet). El motivo no está claro — quizá regularización implícita.