Adam
Derin öğrenmenin hemen her yerde kullandığı optimizasyon algoritması. Adı adaptive moment estimation (uyarlanabilir moment tahmini) demektir. Kingma ve Ba tarafından 2014'te yayımlandı ve yüz binden fazla atıf aldı.
Fikir, her parametrenin iki hareketli ortalamadan hesaplanan kendi etkin öğrenme oranına sahip olmasıdır: gradyanın yönü (birinci moment) ve karesi (ikinci moment). Büyük ve gürültülü gradyanlı parametrelere bu yüzden temkinli davranılır, nadiren güncellenenler ise daha büyük adımlar atar. Sonuç, varsayılan ayarlarda makul çalışan bir yöntemdir ve popülerliğinin büyük kısmı buradan gelir. Pratikte kullanılan AdamW'dür (Loshchilov ve Hutter, 2017); ağırlık sönümünü gradyan adımından ayırır, çünkü özgün bağlama düpedüz yanlıştı. Bedel bellektir: parametre başına iki ek durum, yani eğitim sırasında model boyutunun üç katı.