Residual Connection（残差连接）

Residual Connection

跳跃连接

亦作、亦称：残差连接 · Skip Connection · 跳跃连接

残差连接（Residual Connection）将子层输入直接加到输出上，形成 y = x + F(x) 结构。它使梯度能沿捷径回传，是训练极深网络（ResNet、Transformer）的关键，有效缓解梯度消失。

起源

何恺明等人 2015 年提出 ResNet，在 ImageNet 上以 152 层深度刷新精度。思想是：若最优映射接近恒等，残差分支只需学习微小修正 F(x)≈0，比直接学习 H(x) 更容易。

在 Transformer 中

每个 Encoder/Decoder 子层（Attention、FFN）外包一层残差与 Layer Norm，构成「子层 → 残差 → Norm」堆叠。Pre-LN 变体将 Norm 放在子层前，训练更稳定，大模型常用。

影响

残差连接使百层以上 Transformer 可训练，也是 U-Net、扩散模型跳跃连接的理论同源。去掉残差通常导致深层模型无法收敛。

常见误解

日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。

  • 「跳跃连接」
  • 「缓解梯度消失」
  • 「x + F(x)」

相关术语

和本术语关联紧密的其他词条，便于串联理解。

🎯 考点练习

含该术语的高频面试题，含标准答案与追问。

浏览全部面试题 →

延伸阅读

从知识库精选 3 篇文章，帮助深入理解该术语。

  1. 1

    反向传播：神经网络如何学习

    深入理解反向传播算法的数学原理、计算图实现和训练中的关键问题

  2. 2

    注意力机制与 Transformer 架构

    详解 Self-Attention、Multi-Head Attention 和 Transformer 的编码器-解码器结构

  3. 3

    图神经网络 GNN:GCN, GAT, GraphSAGE

    从图卷积到注意力图网络，掌握非欧数据的深度学习方法

外部参考

维基百科：查看「Residual Connection」词条

本页内容为本站原创撰写；维基百科链接仅作延伸参考。