AdamW
“Ayrıştırılmış ağırlık sönümü” (decoupled weight decay) kullanan Adam eniyileyicisi — Loshchilov ve Hutter (2017). Bugün her modern LLM’in eğitiminde varsayılan seçim.
Adam, L2 düzenlileştirmesini gradyan adımına karıştırır; bu yüzden sönümün gücü gradyanın büyüklüğüne bağlı olur. AdamW ikisini ayırır: ağırlık sönümü gradyandan bağımsız olarak doğrudan ağırlıklara uygulanır. Sonuç, özellikle büyük modellerde daha iyi genelleme.
PyTorch’ta: torch.optim.AdamW. Hiperparametreler: lr (LLM’lerde tipik 1e-4), β1/β2 (0,9/0,95 ya da 0,999), weight_decay (LLM’lerde 0,1). Rakipler: SGD (bazı görüntü işleme görevlerinde hâlâ daha iyi), Lion, Sophia.