Batchnormalisatie
Elke feature normaliseren over alle samples in de minibatch. Gepresenteerd door Ioffe en Szegedy in 2015 en een van de grootste redenen waarom diepe convolutionele netwerken überhaupt trainbaar werden.
Het effect was dramatisch: leersnelheden konden met ordes van grootte omhoog, initialisatie werd minder gevoelig en netwerken convergeerden veel sneller. De oorspronkelijke verklaring, dat het "internal covariate shift" vermindert, is inmiddels betwist; tegenwoordig geldt vaker de interpretatie dat het het verliesoppervlak gladstrijkt. Uit het putten van statistieken uit de batch volgen twee praktische problemen: bij kleine batches worden de schattingen ruisig, en het gedrag verschilt tussen training en inferentie omdat dan opgeslagen lopende gemiddelden worden gebruikt, een klassieke bron van bugs. Sequentiemodellen gebruiken daarom layer-normalisatie.