AdamW
Optymalizator Adam z „rozprzężonym zanikiem wag” — Loshchilov i Hutter (2017). Domyślny wybór przy trenowaniu każdego współczesnego LLM-a.
Adam wmiesza regularyzację L2 w krok gradientu, przez co siła zaniku zależy od wielkości gradientu. AdamW je rozdziela: zanik wag działa bezpośrednio na wagi, niezależnie od gradientu. Efekt: lepsza generalizacja, zwłaszcza w dużych modelach.
W PyTorchu: torch.optim.AdamW. Hiperparametry: lr (typowo 1e-4 dla LLM-ów), β1/β2 (0,9/0,95 lub 0,999), weight_decay (0,1 dla LLM-ów). Konkurenci: SGD (wciąż lepszy w niektórych zadaniach wizji komputerowej), Lion, Sophia.