IT用語集 › AI & 機械学習 › 学習率
MLモデルが重みを更新するときの歩幅の大きさ。最も重要なハイパーパラメータ。
大きすぎるとモデルが跳ね回って発散し、小さすぎると訓練がいつまでも終わらない。現代の定石は、ウォームアップに減衰スケジュールを組み合わせるか、「コサインアニーリング」を使うことだ。