IT用語集 › AI & 機械学習 › 勾配降下法
ほぼすべての機械学習モデルの学習を支える最適化アルゴリズム。誤差が最も小さくなる方向へ、少しずつ進んでいく。
霧の中で山を下りたいときを考えればよい。足元の傾きを確かめ、下る方向へ歩き、これを繰り返す。派生にSGD、Adam、AdamWがあり、どれも同じ発想に別の工夫を加えたものだ。