Batchnormalisering Batch normalization
Normalisering av varje särdrag över alla exempel i minibatchen. Presenterad av Ioffe och Szegedy 2015 och en av de enskilt viktigaste orsakerna till att djupa faltningsnät gick att träna alls.
Effekten var dramatisk: inlärningstakten kunde höjas flera storleksordningar, initieringen blev mindre känslig och nätverken konvergerade långt snabbare. Den ursprungliga förklaringen — att metoden minskar "internal covariate shift" — har senare ifrågasatts; en vanligare tolkning idag är att den gör förlustlandskapet jämnare. Två praktiska problem följer av att statistiken hämtas från batchen: med små batchar blir skattningarna brusiga, och beteendet skiljer sig mellan träning och inferens eftersom man då använder sparade rullande medelvärden, vilket är en klassisk källa till buggar. Sekvensmodeller använder därför layer normalization istället.