残差接続
層の入力を出力に足し合わせる近道。y = F(x) + x。ResNet（He ら、2015年）で導入され、以来ほぼすべての深層アーキテクチャに入っている。
これが解決したのは過学習ではなく「劣化」だった。層を深くすると、訓練データに対してさえ浅いネットワークより性能が落ちるという、本来あり得ない現象である。残差接続があれば、ブロックは恒等写像からの差分だけを学べばよく、寄与するものがなければ何もしなくて済む。同じくらい重要なのが勾配の流れで、足し算によって勾配がそのまま通り抜ける経路ができ、100層を超えても信号が底まで届く。ResNet-152 は ImageNet 2015 で優勝した。Transformer の各ブロックには残差接続が二つあり、一つはアテンション、もう一つはフィードフォワード部分を囲んでいる。