Остаточная связь
Короткий путь, добавляющий вход слоя к его выходу: y = F(x) + x. Появилась в ResNet (He и др., 2015) и с тех пор присутствует практически в каждой глубокой архитектуре.
Решала она не переобучение, а деградацию: более глубокие сети работали хуже мелких, даже на обучающих данных, чего быть не должно. С остаточной связью блоку нужно выучить лишь отличие от тождественного отображения, а если ему нечего добавить, он может отказаться. Не менее важен поток градиента: сложение даёт путь, по которому градиент проходит без изменений, и сигнал доходит до самых нижних слоёв даже в сети из сотни слоёв. ResNet-152 выиграла ImageNet в 2015 году. Каждый блок трансформера содержит две остаточные связи — вокруг внимания и вокруг feedforward-части.