Conexión residual
Un atajo que suma la entrada de una capa a su salida: y = F(x) + x. Introducida en ResNet (He et al., 2015) y presente desde entonces en prácticamente toda arquitectura profunda construida.
El problema que resolvía no era el sobreajuste sino la degradación: las redes más profundas rendían peor que las más someras, incluso sobre los propios datos de entrenamiento, algo que no debería poder ocurrir. Con una conexión residual, el bloque solo necesita aprender la diferencia respecto a la identidad, y si no tiene nada que aportar puede simplemente no hacerlo. Igual de importante es el flujo del gradiente: la suma ofrece un camino por el que el gradiente pasa sin alterarse, de modo que la señal llega hasta el fondo incluso a través de cien capas. ResNet-152 ganó ImageNet en 2015. Cada bloque de un transformer contiene dos conexiones residuales, una alrededor de la atención y otra alrededor de la parte feedforward.