Residuele verbinding
Een sluiproute die de invoer van een laag bij de uitvoer optelt: y = F(x) + x. Geïntroduceerd in ResNet (He et al., 2015) en sindsdien aanwezig in vrijwel elke diepe architectuur.
Het probleem dat ermee werd opgelost was geen overfitting maar degradatie: diepere netwerken presteerden slechter dan ondiepere, zelfs op trainingsdata, wat eigenlijk niet kan. Met een residuele verbinding hoeft het blok alleen het verschil met de identiteit te leren, en als het niets toe te voegen heeft, kan het dat weigeren. Even belangrijk is de gradiëntstroom — de optelling biedt een pad waarlangs de gradiënt ongewijzigd doorloopt, zodat het signaal ook door honderd lagen heen helemaal beneden aankomt. ResNet-152 won ImageNet 2015. Elk transformerblok bevat twee residuele verbindingen, een rond attention en een rond het feedforward-gedeelte.