残差连接 - Ciallo Wiki

1 基本概念

1.1 定义

残差连接是一种将输入直接传递到输出端的网络连接方式。它不要求信息完全经过中间层的变换，而是把原始输入与变换结果进行组合，常见形式为相加。由于这种结构能够让网络在保留原有信息的同时学习附加修正量，因此被广泛用于深度神经网络。

1.2 核心思想

残差连接的核心在于，把学习任务从“直接拟合目标函数”转化为“学习目标与输入之间的差值”。在实际建模中，这种思路通常更容易优化，也更符合深层网络逐步修正表示的方式。

1.2.1 恒等映射

恒等映射指输入在不经过变化的情况下直接传递到后续层。它为网络提供了一条稳定的信息通路，使得即使某些变换层效果有限，模型仍能保留基础特征。

1.2.2 残差学习

残差学习强调网络学习的是“补充项”而不是完整映射。这样做可以让模型更专注于难以建模的部分，减少优化压力，并在深层场景中提高训练效率。

1.3 适用场景

残差连接特别适合需要较深层数或较复杂模块组合的模型。只要网络中存在逐层变换可能导致信息衰减的问题，残差结构通常都能发挥作用。

1.3.1 深层神经网络

在深层神经网络中，随着层数增加，训练难度往往上升。残差连接能够为梯度和特征提供快捷通道，因此成为构建数十层、数百层模型的重要手段。

1.3.2 模块化模型结构

对于由多个子模块串联或堆叠形成的系统，残差连接有助于保持模块之间的衔接稳定。它使每个模块更像可独立替换的功能单元，便于设计与调试。

2 数学原理

2.1 基本表达式

残差连接的数学形式通常可写为输出等于输入与某个变换函数之和。这个结构简单，但对训练动态的影响非常显著。

2.1.1 输入与输出相加

设输入为 \(x\)，中间变换为 \(F(x)\)，则输出可表示为 \(y = x + F(x)\)。这里的相加操作体现了信息保留与新特征叠加的结合。

2.1.2 残差函数表示

函数 \(F(x)\) 被称为残差函数，表示相对于输入需要补充的变化量。若 \(F(x)\) 接近于零，网络就近似执行恒等映射；若差异较大，则由残差分支承担主要修正任务。

2.2 梯度传播机制

残差结构之所以有效，很大程度上在于它改变了反向传播中的梯度路径。与单一路径深层堆叠相比，残差连接提供了更短、更稳定的传播通道。

2.2.1 缓解梯度消失

在普通深层网络中，梯度可能在层层传递后逐渐衰减。残差连接使梯度可以沿跳连直接回传，从而减轻消失现象，提高前层参数的可更新性。

2.2.2 改善信息流动

除了梯度，前向信息也能通过跳连更顺畅地穿过网络。这样一来，浅层特征不容易在深层处理过程中完全丢失，模型整体的信息利用率更高。

2.3 维度匹配问题

残差分支与主分支相加时，二者的张量形状必须兼容。若维度不一致，就需要额外处理，否则无法完成逐元素运算。

2.3.1 直接相加条件

当输入与输出在空间尺寸、通道数和批量维度上都一致时，可以直接相加。这是最简单、最常见的残差形式。

2.3.2 投影映射与通道对齐

若维度不匹配，通常会使用线性投影、卷积变换或下采样操作进行对齐。这样既能保证结构可计算，也能在必要时调整特征表达能力。

3 结构形式

3.1 直接残差连接

直接残差连接是最基础的形式，主路径完成特征变换，旁路则把输入原样或近似原样送到输出。

3.1.1 恒等跳连

恒等跳连指跳接分支不做额外变换，直接把输入送到后面相加。它结构简洁，参数开销几乎可以忽略。

3.1.2 短跳连

短跳连通常连接相邻的少量层，强调局部信息保留。它常见于卷积网络块内部，用于稳定小范围的特征更新。

3.2 瓶颈残差块

瓶颈残差块常用于降低计算成本，同时保持较强表达能力。其思想是先压缩，再处理，最后恢复维度。

3.2.1 降维层

降维层通过减少通道数或特征宽度，降低中间计算负担。这种设计适合在高维特征图上执行较复杂操作。

3.2.2 升维层

升维层负责把压缩后的表示恢复到原有或目标维度。它使瓶颈结构能够与后续模块无缝衔接。

3.3 预激活残差结构

预激活结构将归一化和激活放在卷积或线性变换之前，是对传统残差块的一种改进。

3.3.1 归一化前置

将归一化放在前面，可以让输入分布更稳定，进而改善优化过程中的数值表现。这种安排在较深网络中尤其常见。

3.3.2 激活函数前置

激活函数前置有助于让残差分支在进入主变换前先完成非线性整形。它常被认为更有利于梯度流动与训练稳定。

3.4 多分支残差结构

多分支残差结构在一个单元中引入多个并行或串行子路径，以增强特征表达的丰富性。

3.4.1 并行分支融合

并行分支可以分别提取不同尺度或不同类型的特征，再进行融合。残差连接在此类结构中常作为统一汇总方式。

3.4.2 级联残差单元

级联残差单元是指多个残差块顺序堆叠，并在局部或整体上继续保留跳连。这种方式适合构建较深的模块链。

4 典型应用

4.1 图像识别

图像任务是残差连接最典型的应用领域之一。由于视觉模型往往需要较深层次来捕获复杂模式，残差结构非常契合这类需求。

4.1.1 分类任务

在图像分类中，残差网络可以更有效地提取从边缘、纹理到语义对象的层级特征。深层堆叠配合跳连，有助于提高分类准确率。

4.1.2 检测任务

目标检测需要同时处理位置与类别信息，特征层往往较多且关联紧密。残差连接有利于保持跨层信息传递，使定位与识别更稳定。

4.1.3 分割任务

在图像分割中，既需要高层语义，也需要低层细节。残差连接能帮助保留空间信息，提升边界和局部区域的表达效果。

4.2 自然语言处理

在语言任务中，残差连接常用于深层序列模型或文本表示模块，以改善长链路训练的可行性。

4.2.1 序列建模

处理长序列时，模型往往面临依赖跨度大、梯度传递复杂等问题。残差结构可以让早期信息更容易影响后续表示。

4.2.2 语言表示学习

在词向量、句向量或上下文表示构建中，残差连接有助于逐层叠加语义信息，同时避免底层语言特征被过度抹除。

4.3 Transformer 架构

Transformer 中广泛使用残差连接，它几乎已经成为标准配置之一，配合归一化层共同工作。

4.3.1 编码器残差

编码器中的自注意力层和前馈层通常都带有残差路径。这样可以保证输入表示在经过复杂变换后仍能被直接保留和复用。

4.3.2 解码器残差

解码器部分同样依赖残差连接来维持训练稳定。对于多层堆叠结构而言，这种设计尤为重要。

4.4 生成模型

生成模型需要在表达能力和训练稳定性之间取得平衡，残差连接常被用于改善这一平衡关系。

4.4.1 对抗生成网络

在对抗生成网络中，残差模块可以增强生成器或判别器的深层表达，同时减少训练中出现的不稳定现象。

4.4.2 扩散模型中的模块连接

扩散模型内部常由多个去噪子模块组成，残差连接有助于保持阶段间信息连续性，并提升细粒度特征恢复能力。

5 设计优势

5.1 提升训练稳定性

残差连接最直接的优势之一，是让网络在训练过程中更容易保持稳定，不至于因层数加深而明显退化。

5.1.1 加快收敛

由于优化路径更顺畅，模型通常能够更快达到可用状态。实际训练中，这往往表现为损失下降更平稳、有效迭代更少。

5.1.2 降低优化难度

跳连提供了更容易拟合的基准路径，使优化器不必从一开始就同时解决所有层的复杂耦合问题。

5.2 支持更深网络

残差结构是深层网络得以大规模扩展的重要原因之一。它让“更深”不再天然意味着“更难训练”。

5.2.1 缓解退化现象

退化现象指网络加深后性能反而下降。残差连接通过保留恒等路径，降低了深层堆叠带来的性能劣化风险。

5.2.2 促进深层特征学习

当基础信息可以稳定传递时，网络更容易把容量用于学习复杂模式，而不是重复恢复丢失的底层特征。

5.3 促进特征复用

残差连接并不只是优化手段，也改变了特征组织方式。浅层与深层表示可以在同一体系中共同发挥作用。

5.3.1 浅层信息保留

浅层特征通常包含边缘、局部结构等基础信息。残差路径让这些内容更容易被后续层访问，从而避免过早丢弃。

5.3.2 高层语义叠加

在保留底层特征的同时，网络还可以不断叠加更抽象的语义信息。由此形成层次分明、可复用的表示体系。

6 相关变体

6.1 Highway Network

Highway Network 可视为残差思想的早期相关形式之一。它通过门控机制控制信息是否通过。

6.1.1 门控机制

门控机制允许网络根据输入内容决定主路径与旁路的占比，从而实现更灵活的信息流控制。

6.1.2 残差与门控差异

与标准残差连接相比，Highway Network 不只是相加，还引入可学习的门控系数。前者更简洁，后者更具选择性。

6.2 Dense Connection

Dense Connection 强调层与层之间的密集连接方式，与残差连接有相似之处，但实现逻辑不同。

6.2.1 与残差连接的区别

残差连接通常是逐元素相加，而 Dense Connection 更常见的是将前层特征直接传递并累积到后续层。两者都强化信息流，但组合方式不同。

6.2.2 特征拼接方式

Dense 结构往往采用特征拼接而非求和，因此输出维度会随层数增长。这种方式增强了特征复用，但也带来更高的内存开销。

6.3 Attention Residual

Attention Residual 将注意力机制引入跳连或残差分支，用于动态调整不同信息的重要性。

6.3.1 注意力增强残差

通过注意力权重，模型可以对残差项进行筛选或重标定，使跳连不只是被动传递，而是带有选择性地融合信息。

6.3.2 动态加权跳连

动态加权跳连允许网络根据上下文决定残差和主分支的比例。这在输入分布变化较大或任务依赖性较强时较为有用。

6.4 归一化残差结构

归一化残差结构将标准化方法与跳连结合，以进一步提升数值稳定性和训练效率。

6.4.1 Batch Normalization 结合

Batch Normalization 常被用于卷积残差块中，帮助缓解内部协变量偏移，并加速优化过程。

6.4.2 Layer Normalization 结合

Layer Normalization 更适合序列模型和 Transformer 类结构。它与残差连接搭配后，常用于稳定每层输出分布。

7 实现与工程实践

7.1 框架支持

现代深度学习框架普遍支持残差连接的实现，通常只需在代码中完成张量相加即可。

7.1.1 PyTorch 实现

在 PyTorch 中，残差连接通常通过 x + F(x) 的形式表达。若维度不同，可借助卷积层、线性层或插值操作进行适配。

7.1.2 TensorFlow 实现

TensorFlow 中也可通过加法算子实现跳连。配合 tf.keras 的模块化写法，残差块通常能够较方便地封装成可复用层。

7.2 编码注意事项

实现残差结构时，逻辑虽简单，但细节处理非常关键。一个小的维度或顺序错误，就可能影响整个模型的可训练性。

7.2.1 维度对齐

在做相加之前，需确保两个分支在形状上完全兼容。若忽略这一点，模型可能直接报错，或在隐式广播下产生不期望结果。

7.2.2 激活与归一化顺序

激活、归一化与残差相加的先后顺序会影响训练表现。不同任务和架构中，常需要结合实验选择最合适的排列方式。

7.3 性能调优

残差连接本身会影响网络深度、显存占用和计算路径，因此在工程上也需要进行权衡。

7.3.1 模块深度选择

并非层数越多越好。过深的残差堆叠仍可能带来训练成本上升，因此需要结合任务复杂度和数据规模进行控制。

7.3.2 计算与内存开销

虽然跳连本身开销不大，但若使用多分支、拼接或投影映射，整体资源消耗会增加。工程实现时应关注显存与吞吐量。

7.4 常见错误

在实际搭建残差网络时，常见问题往往不在思想本身，而在细节实现。

7.4.1 梯度路径设计不当

如果残差路径被错误切断，或主分支过于复杂，跳连的优势就难以体现，甚至会削弱训练效果。

7.4.2 残差分支过强或过弱

若残差分支权重过大，模型可能过度依赖跳连；若过弱，则结构退化为普通深层堆叠。二者都不利于发挥残差机制的优势。

8 研究与发展

8.1 早期提出背景

残差思想并非凭空出现，而是对深层模型训练困境的一种回应。其发展与神经网络结构创新密切相关。

8.1.1 深层网络训练困难

早期深层网络普遍面临训练不稳定、误差传递困难等问题。随着层数增加，性能提升并不总是线性发生。

8.1.2 结构创新需求

为解决这些瓶颈，研究者开始探索更容易优化的连接方式。残差连接正是在这种背景下成为关键方案之一。

8.2 经典模型影响

残差连接之所以广泛流行，与经典模型的成功应用密不可分。它逐步从单一架构思想演变为通用设计范式。

8.2.1 ResNet 的推动作用

ResNet 让残差连接在大规模深层视觉模型中展现出强大效果，也使这一结构迅速成为行业与学术界的标准配置。

8.2.2 后续架构普及

在 ResNet 之后，许多模型都吸收了跳连思想，并在不同任务中加以改造。残差连接因此从特定技巧发展为普遍方法。

8.3 未来方向

随着模型规模和应用场景不断扩展，残差连接也在向更灵活、更高效的方向演进。

8.3.1 自适应残差机制

未来的残差结构可能更加智能，能够根据输入内容、任务阶段或上下文动态调整跳连强度与融合方式。