正則化
モデルが規則性を学ばず訓練データを丸暗記してしまうのを防ぐ工夫の総称。代償は常に同じで、訓練データへの当てはまりが悪くなる代わりに、新しいデータへの当てはまりが良くなる。
定番はL2（重み減衰）とL1である。L2は大きな重みにペナルティを課してモデルを滑らかに保ち、L1は重みをちょうどゼロにして特徴量を刈り込む。ほかに、訓練中にニューロンをランダムに止めて特定の経路への依存を防ぐドロップアウト、検証損失が上がり始めたら打ち切る早期終了、同じ例から多くの変種を作るデータ拡張、過信を和らげるラベルスムージングがある。大規模言語モデルでは、これらの多くはあまり重要でない。エポック数に比べてデータセットが非常に大きいため、過学習はめったに起きないからだ。