SGD (discesa stocastica del gradiente)
Ottimizzatore classico per le reti neurali: si calcola il gradiente su un mini-batch (non sull'intero dataset), si fa un passo nella direzione opposta e si ripete. Robbins & Monro (1951).
SGD semplice: θ ← θ - lr · ∇L. Estensioni: il momentum (media sui gradienti recenti) e il momentum di Nesterov (sguardo in avanti). Aiutano a percorrere le «gole» della funzione di perdita e accelerano la convergenza.
Per i moderni LLM si è imposto AdamW, ma SGD + momentum batte ancora Adam in alcuni compiti di visione artificiale (addestramento di ResNet su ImageNet). Il motivo non è chiaro, forse una regolarizzazione implicita.