Conexão residual
Um atalho que soma a entrada de uma camada à sua saída: y = F(x) + x. Introduzida na ResNet (He et al., 2015), está hoje em praticamente toda arquitetura profunda.
O problema que ela resolveu não era overfitting, e sim degradação: redes mais profundas tinham desempenho pior que as mais rasas, até nos dados de treino, o que não deveria ser possível. Com a conexão residual, o bloco só precisa aprender a diferença em relação à identidade, e, se não tiver nada a acrescentar, pode simplesmente abster-se. Igualmente importante é o fluxo do gradiente: a soma cria um caminho por onde o gradiente passa intacto, e o sinal chega ao fundo mesmo com cem camadas. A ResNet-152 venceu a ImageNet em 2015. Todo bloco de transformer tem duas conexões residuais, uma em volta da atenção e outra em volta da parte feedforward.