AdamW
El optimizador Adam con «decoupled weight decay» — Loshchilov y Hutter (2017). La opción por defecto para entrenar todos los LLM modernos.
Adam mezcla la regularización L2 con el paso de gradiente, de modo que la fuerza del decay depende de la magnitud del gradiente. AdamW los separa: el weight decay se aplica directamente sobre los pesos, con independencia del gradiente. Resultado: mejor generalización, sobre todo en modelos grandes.
En PyTorch: torch.optim.AdamW. Hiperparámetros: lr (1e-4 es lo típico para LLM), β1/β2 (0.9/0.95 o 0.999), weight_decay (0.1 para LLM). Competidores: SGD (aún mejor en algunas tareas de visión), Lion, Sophia.