Normalizacja wsadowa
Normalizowanie każdej cechy względem wszystkich próbek w minibatchu. Zaprezentowana przez Ioffego i Szegedy'ego w 2015 roku i jeden z głównych powodów, dla których głębokie sieci konwolucyjne w ogóle dało się trenować.
Efekt był spektakularny: współczynniki uczenia można było podnieść o rzędy wielkości, inicjalizacja przestała być tak wrażliwa, a sieci zbiegały znacznie szybciej. Pierwotne wyjaśnienie — redukcja „wewnętrznego przesunięcia kowariancji” — zostało od tamtej pory podważone; dziś częściej mówi się, że metoda wygładza krajobraz funkcji straty. Czerpanie statystyk z batcha rodzi dwa praktyczne problemy: przy małych batchach oszacowania są zaszumione, a zachowanie różni się między treningiem a inferencją, bo w tej drugiej używa się zapisanych średnich kroczących — klasyczne źródło błędów. Dlatego modele sekwencyjne stosują zamiast niej normalizację warstwy.