SGD（確率的勾配降下法）
古典的なニューラルネットの最適化手法。データセット全体ではなくミニバッチで勾配を計算し、その逆方向に一歩進む、を繰り返す。ロビンズとモンローが1951年に提案した。
素のSGDはθ ← θ - lr · ∇L。拡張としてモーメンタム（直近の勾配の平均を取る）とNesterovモーメンタム（先読み）がある。谷間のような地形を進みやすくし、収束を速める。
現代のLLMではAdamWが主流になったが、コンピュータビジョンの一部のタスク（ImageNetでのResNet訓練など）では、SGD＋モーメンタムが今もAdamを上回る。理由は定かでなく、暗黙の正則化かもしれない。