Normalización por lotes Batch normalization
Normalizar cada característica sobre todos los ejemplos del minilote. Presentada por Ioffe y Szegedy en 2015 y una de las mayores razones, por sí sola, de que las redes convolucionales profundas llegaran a poder entrenarse.
El efecto fue drástico: se podían subir las tasas de aprendizaje varios órdenes de magnitud, la inicialización se volvía menos delicada y las redes convergían mucho antes. La explicación original — que reduce el «desplazamiento interno de covariables» — se ha puesto luego en duda; hoy la interpretación más común es que suaviza el paisaje de la función de pérdida. Del hecho de tomar la estadística del lote se siguen dos problemas prácticos: con lotes pequeños las estimaciones se vuelven ruidosas, y el comportamiento difiere entre entrenamiento e inferencia, ya que entonces se usan las medias móviles guardadas — una fuente clásica de errores. Por eso los modelos de secuencia usan en su lugar la normalización por capas.