Градиентный спуск
Алгоритм оптимизации, обучающий почти любую ML-модель: маленькими шагами двигаться туда, где ошибка падает быстрее всего.
Аналогия: вы стоите в тумане на горе и хотите спуститься. Нащупываете уклон, идёте вниз, повторяете. Варианты — SGD, Adam, AdamW — построены на той же идее и отличаются лишь хитрыми добавками.