Connexion résiduelle Skip connection
Un raccourci qui ajoute l'entrée d'une couche à sa sortie : y = F(x) + x. Introduite avec ResNet (He et al., 2015), elle est présente depuis dans pratiquement toutes les architectures profondes.
Le problème qu'elle a résolu n'était pas le surapprentissage mais la dégradation : des réseaux plus profonds donnaient de moins bons résultats que des réseaux moins profonds, même sur les données d'entraînement, ce qui ne devrait pas arriver. Avec une connexion résiduelle, le bloc n'a qu'à apprendre l'écart par rapport à l'identité, et s'il n'a rien à apporter, il peut s'abstenir. Tout aussi important : la circulation du gradient — l'addition offre un chemin où le gradient passe sans être altéré, si bien que le signal descend jusqu'au fond même à travers cent couches. ResNet-152 a remporté ImageNet en 2015. Chaque bloc transformer contient deux connexions résiduelles, l'une autour de l'attention, l'autre autour de la partie feedforward.