Обрезка градиентов
Потолок для размера шага обучения, чтобы один аномальный батч не уничтожил модель, которую обучали неделями.
Обычная форма — обрезка по глобальной норме: считается суммарная длина вектора градиента по всем параметрам, и если она превышает порог, всё масштабируется вниз на один и тот же множитель. Смысл пропорционального масштабирования в том, что направление сохраняется, а ограничивается лишь длина шага, — в отличие от обрезки каждого элемента по отдельности, которая искажает направление обновления. Типичный порог — 1,0. Помимо защиты, норма — самое пристально отслеживаемое число в большом прогоне: резкий её скачок почти всегда предшествует расхождению функции потерь. При распределённом обучении норму нужно считать по всем шардам, а это настоящий шаг коммуникации и классический источник тонких ошибок в самодельных циклах обучения.