勾配クリッピング
学習の1ステップが取りうる大きさに上限を設け、たった1つの異常なバッチが、何週間もかけて育てたモデルを壊さないようにする手法。
よく使われるのはグローバルノルムによるクリッピングだ。全パラメータにまたがる勾配ベクトル全体の長さを計算し、しきい値を超えていれば、すべてを同じ比率で縮小する。比例して縮めるのは、向きを保ったままステップの長さだけを抑えるためで、要素ごとに別々に切る方式のように更新の向きが歪むことがない。しきい値は1.0がよく使われる。保護の役目に加えて、このノルムは大規模な学習中に最も注視される数値でもある。急に跳ね上がれば、ほぼ確実にその後で損失が発散するからだ。分散学習ではノルムを全シャードにわたって計算する必要があり、これは本物の通信ステップで、自前の学習ループにおける微妙なバグの典型的な発生源でもある。