Adam
Алгоритм оптимизации, которым пользуется практически всё глубокое обучение; название — от «adaptive moment estimation». Опубликован Кингмой и Ба в 2014 году, процитирован более ста тысяч раз.
Идея: у каждого параметра свой эффективный шаг обучения, вычисляемый из двух скользящих средних — направления градиента (первый момент) и его квадрата (второй момент). Параметры с большими шумными градиентами обрабатываются осторожно, а редко обновляемые делают шаги покрупнее. Получается метод, который неплохо работает с настройками по умолчанию, чем во многом и объясняется его популярность.
На практике используют AdamW (Лощилов и Хаттер, 2017), который отделяет затухание весов от шага градиента: исходная связка была просто неверной. Цена — память: два дополнительных состояния на параметр, то есть при обучении втрое больше размера модели.