Регуляризация
Общее название всего, что делают, чтобы модель не заучивала обучающие данные, а училась закономерности. Цена всегда одна: хуже подгонка под обучающую выборку, лучше — под новые данные.
Классика — L2 (weight decay), штрафующая большие веса и сохраняющая гладкость модели, и L1, обнуляющая веса и тем самым отсекающая признаки. Сюда же относятся dropout, случайно отключающий нейроны при обучении, чтобы сеть не полагалась на отдельные пути; ранняя остановка, когда ошибка на валидации начинает расти; аугментация данных, создающая новые варианты одного примера; и label smoothing, умеряющий излишнюю уверенность. В больших языковых моделях большинство из этого играет меньшую роль: датасет настолько велик относительно числа эпох, что переобучению редко удаётся случиться.