バッチ正規化
ミニバッチ内の全サンプルにわたって、特徴ごとに正規化する手法。2015年にイオッフェとセゲディが発表し、深い畳み込みネットワークが学習可能になった最大の理由の一つである。
効果は劇的だった。学習率を桁違いに上げられ、初期化への依存が減り、収束も大幅に速くなった。当初の「内部共変量シフトを減らす」という説明は後に疑問視され、現在は損失の地形を滑らかにするという解釈が一般的だ。統計をバッチから取ることには実用上の問題が二つある。バッチが小さいと推定がノイズを含むこと、そして推論時には保存しておいた移動平均を使うため学習時と挙動が変わることで、これは古典的なバグの温床だ。系列モデルでは、そのため代わりにレイヤー正規化を使う。