Adam
事実上すべてのディープラーニングが使う最適化アルゴリズム。名前はadaptive moment estimationの略。KingmaとBaが2014年に発表し、10万回以上引用されている。
発想は、各パラメータが固有の実効学習率を持ち、それを二つの移動平均から計算するというものだ。勾配の方向（一次モーメント）と、その二乗（二次モーメント）である。勾配が大きくノイズの多いパラメータは慎重に扱われ、あまり更新されないパラメータは大きく動く。その結果、デフォルト設定でそこそこ動く手法となり、人気の大きな理由になっている。実際に使われるのはAdamW（LoshchilovとHutter、2017年）で、重み減衰を勾配ステップから切り離す。元の結合は単に誤りだった。代償はメモリで、パラメータごとに状態が二つ増えるため、学習中はモデルサイズの3倍になる。