AdamW
Adamに「分離した重み減衰（decoupled weight decay）」を取り入れたオプティマイザ。LoshchilovとHutterが2017年に提案し、現代のLLM学習のほぼ標準となっている。
AdamはL2正則化を勾配のステップに混ぜてしまうため、減衰の強さが勾配の大きさに左右される。AdamWはこの2つを切り離し、勾配に関係なく重みへ直接減衰をかける。その結果、とくに大規模モデルで汎化性能が向上する。
PyTorchではtorch.optim.AdamW。ハイパーパラメータの目安は、学習率1e-4程度（LLM）、β1/β2が0.9/0.95または0.999、weight_decayが0.1（LLM）。競合にはSGD（一部のコンピュータビジョンのタスクでは今も優位）、Lion、Sophiaがある。