AdamW
Adam-Optimierer mit "decoupled weight decay" — Loshchilov & Hutter (2017). Die Standardwahl zum Trainieren praktisch aller modernen LLMs.
Adam vermischt L2-Regularisierung mit dem Gradientenschritt, wodurch die Stärke des Decay von der Gradientengröße abhängt. AdamW trennt beides: Weight Decay wird direkt auf die Gewichte angewendet, unabhängig vom Gradienten. Ergebnis: bessere Generalisierung, vor allem bei großen Modellen.
In PyTorch: torch.optim.AdamW. Hyperparameter: lr (typisch 1e-4 für LLMs), β1/β2 (0,9/0,95 oder 0,999), weight_decay (0,1 für LLMs). Konkurrenz: SGD (bei manchen CV-Aufgaben weiterhin besser), Lion, Sophia.