レイヤー正規化（Layer normalization）
バッチ全体ではなく、個々のサンプルの内部で特徴量にわたって計算する正規化。2016年にBa、Kiros、Hintonが提案し、Transformerを学習可能にした要素の一つである。
バッチ正規化との違いは、系列データでは決定的になる。統計量が現在のサンプルだけで決まるため、バッチサイズが1でも、系列長がまちまちでも、推論時でも同じように動く。移動平均を保持する必要がなく、学習時と利用時で挙動も変わらない。置く位置も重要だと分かった。元のTransformerは各サブブロックの後（post-LN）に置き、慎重な学習率のウォームアップが必要だった。現代のモデルは前（pre-LN）に置き、工夫なしで安定して学習できる。RMSNormはその簡略版で、Llamaをはじめ多くの新しいモデルが使っている。