Batch-Normalisierung Batch Normalization
Normalisierung jedes Merkmals über alle Beispiele im Minibatch hinweg. Vorgestellt von Ioffe und Szegedy 2015 und einer der Hauptgründe, warum tiefe Convolutional Networks überhaupt trainierbar wurden.
Der Effekt war drastisch: Lernraten ließen sich um Größenordnungen anheben, die Initialisierung wurde weniger heikel, und die Netze konvergierten deutlich schneller. Die ursprüngliche Erklärung — dass die Methode den „internal covariate shift" reduziert — gilt inzwischen als umstritten; heute geht man eher davon aus, dass sie die Verlustlandschaft glättet.
Zwei praktische Probleme ergeben sich daraus, dass die Statistik aus dem Batch stammt: Bei kleinen Batches werden die Schätzungen verrauscht, und das Verhalten unterscheidet sich zwischen Training und Inferenz, weil dann gespeicherte gleitende Mittelwerte verwendet werden — eine klassische Fehlerquelle. Sequenzmodelle setzen deshalb stattdessen auf Layer Normalization.