Скорость обучения (learning rate)
Размер шага, которым модель обновляет веса при обучении, — самый важный гиперпараметр.
Слишком большой: модель «скачет» и расходится. Слишком маленький: обучение тянется целую вечность. Современная практика — разогрев (warmup) с последующим затуханием или «косинусный отжиг» (cosine annealing).