反向传播算法（Backpropagation）是人工神经网络中用于训练的多层前馈网络的核心监督学习算法。它通过计算损失函数对网络中每个权重的梯度，利用链式法则从输出层逐层向后传播误差，从而高效地更新权重，使网络输出逼近目标值。该算法由Rumelhart、Hinton和Williams在1986年系统阐述，是深度学习发展的基石。
1 算法背景
1.1 神经网络训练的需求
早期的人工神经网络（如感知机）只能解决线性可分问题，而多层网络的潜力因缺乏有效的训练方法而难以发挥。训练多层神经网络的核心挑战在于：隐藏层神经元的期望输出未知，无法直接计算误差来调整权重。因此，需要一种能在不直接观测隐藏层目标的前提下，利用输出层误差间接指导所有层权重更新的方法。
1.2 梯度下降法的引入
梯度下降法是一种迭代优化算法，通过沿损失函数梯度的负方向调整参数来最小化目标函数。将梯度下降法应用于神经网络训练，意味着需要计算损失函数对每个网络权重的偏导数（即梯度）。这为反向传播算法的出现提供了优化框架：只要能够高效计算梯度，就能利用梯度下降更新整个网络的参数。
1.3 链式法则的作用
链式法则是微积分中用于计算复合函数导数的规则。在神经网络中，每个权重对最终损失的影响通过多层的复合函数传递。链式法则允许将输出层的误差信号，按照网络逐层组合的顺序，反向分解为各层权重的局部梯度。这使计算隐藏层的权重梯度变得可行，是反向传播算法数学上的基石。
2 算法原理
2.1 前向传播过程
2.1.1 输入层到隐藏层
输入样本经过输入层，通常不进行运算，直接传递给隐藏层。隐藏层中的每个神经元接收所有输入信号的加权求和，并加上偏置项，再通过一个非线性激活函数（如Sigmoid或ReLU）产生输出。设输入向量为\(\mathbf{x}\)，隐藏层权重矩阵为\(\mathbf{W}^{(1)}\)，偏置为\(\mathbf{b}^{(1)}\)，则隐藏层输出\(\mathbf{h}\)可表示为：\(\mathbf{h} = f(\mathbf{W}^{(1)}\mathbf{x} + \mathbf{b}^{(1)})\)，其中\(f\)为激活函数。
2.1.2 隐藏层到输出层
隐藏层的输出作为输出层的输入。输出层同样进行加权求和和偏置加法，再通过输出层的激活函数（或线性函数）得到最终输出。设输出层权重矩阵为\(\mathbf{W}^{(2)}\)，偏置为\(\mathbf{b}^{(2)}\)，输出层激活函数为\(g\)，则网络输出\(\mathbf{y}\)为：\(\mathbf{y} = g(\mathbf{W}^{(2)}\mathbf{h} + \mathbf{b}^{(2)})\)。对于回归任务，\(g\)常取恒等函数；对于分类任务，常用Softmax函数将输出转换为概率。
2.2 损失函数定义
损失函数衡量网络输出与真实目标之间的差异，是优化的目标函数。
2.2.1 均方误差
均方误差（Mean Squared Error, MSE）常用于回归任务。对于单个样本，损失定义为：\(L = \frac{1}{2} \|\mathbf{y} - \mathbf{t}\|^2\)，其中\(\mathbf{t}\)为真实目标，系数1/2便于求导消去平方项。MSE对所有输出维度平等惩罚。
2.2.2 交叉熵损失
交叉熵损失常用于分类任务，特别是与Softmax输出层配合使用。对于单个样本，若真实标签为one-hot向量，损失定义为：\(L = -\sum_i t_i \log y_i\)。交叉熵能有效加速梯度下降，因为它在误差较大时提供较大梯度，避免MSE在输出饱和时梯度接近零的问题。
2.3 反向传播计算
2.3.1 输出层误差项
输出层误差项定义为损失函数对输出层加权输入的偏导数。设输出层加权输入为\(\mathbf{z}^{(2)}\)，则输出层误差项\(\boldsymbol{\delta}^{(2)}\)为：\(\boldsymbol{\delta}^{(2)} = \frac{\partial L}{\partial \mathbf{z}^{(2)}} = \frac{\partial L}{\partial \mathbf{y}} \odot g'(\mathbf{z}^{(2)})\)，其中\(\odot\)表示逐元素相乘。误差项代表了输出层神经元对损失的总“责任”。
2.3.2 隐藏层误差项
2.3.2.1 误差的反向递推
隐藏层误差项通过链式法则从输出层反向递推得到。设隐藏层加权输入为\(\mathbf{z}^{(1)}\)，隐藏层误差项\(\boldsymbol{\delta}^{(1)}\)为：\(\boldsymbol{\delta}^{(1)} = [(\mathbf{W}^{(2)})^T \boldsymbol{\delta}^{(2)}] \odot f'(\mathbf{z}^{(1)})\)。该公式将下一层的误差通过权重矩阵“传递”回当前层，并用当前层的激活函数梯度进行调制，确保误差信息在网络中沿梯度路径反向流动。
2.3.2.2 权重梯度的计算
有了各层误差项，权重梯度即可直接求出。对于连接前一层神经元\(j\)到当前层神经元\(i\)的权重\(w_{ij}\)，其梯度为：\(\frac{\partial L}{\partial w_{ij}} = \delta_i \cdot a_j\)，其中\(\delta_i\)是当前层神经元\(i\)的误差项，\(a_j\)是前一层神经元的输出。偏置梯度的计算类似，只需将输入视为1。
2.4 参数更新规则
利用梯度下降法更新权重和偏置，更新规则为：\(w_{ij} \leftarrow w_{ij} - \eta \cdot \frac{\partial L}{\partial w_{ij}}\)，\(b_i \leftarrow b_i - \eta \cdot \frac{\partial L}{\partial b_i}\)，其中\(\eta\)是学习率，控制更新步长。对所有训练样本重复前向传播、反向传播和参数更新，直到损失收敛。
3 数学推导
3.1 符号约定
为简化推导，做如下约定：网络共\(L\)层，第\(l\)层神经元数记为\(n_l\)。\(a^{(l)}\)表示第\(l\)层神经元输出向量，\(z^{(l)}\)表示第\(l\)层加权输入向量（即激活前的值），满足\(a^{(l)} = f^{(l)}(z^{(l)})\)。权重矩阵\(\mathbf{W}^{(l)}\)的元素\(w_{ji}^{(l)}\)表示连接第\(l-1\)层第\(i\)个神经元到第\(l\)层第\(j\)个神经元的权重。损失函数记为\(L\)。
3.2 单样本梯度推导
3.2.1 输出层权重梯度
对于输出层（第\(L\)层），误差项为：\(\delta_j^{(L)} = \frac{\partial L}{\partial z_j^{(L)}} = \frac{\partial L}{\partial a_j^{(L)}} \cdot (f^{(L)})'(z_j^{(L)})\)。则权重\(w_{ji}^{(L)}\)的梯度为：\(\frac{\partial L}{\partial w_{ji}^{(L)}} = \delta_j^{(L)} \cdot a_i^{(L-1)}\)。
3.2.2 隐藏层权重梯度
对于隐藏层（第\(l\)层，\(1 \leq l < L\)），误差项反向递推：\(\delta_j^{(l)} = \left( \sum_k w_{kj}^{(l+1)} \delta_k^{(l+1)} \right) \cdot (f^{(l)})'(z_j^{(l)})\)。然后，权重梯度：\(\frac{\partial L}{\partial w_{ji}^{(l)}} = \delta_j^{(l)} \cdot a_i^{(l-1)}\)。该过程递归执行，直到第1层权重梯度计算完成。
3.3 批量梯度与随机梯度
在批量梯度下降（Batch Gradient Descent）中，梯度取所有训练样本损失梯度的平均值，即：\(\nabla_{\text{batch}} = \frac{1}{N} \sum_{m=1}^N \nabla L_m\)，然后一次更新参数。在随机梯度下降（Stochastic Gradient Descent, SGD）中，每处理一个样本即更新一次参数，即使用\(\nabla L_m\)进行更新。小批量梯度下降（Mini-batch Gradient Descent）则折衷，每次使用一个固定大小的样本子集计算梯度平均值后更新。反向传播算法本身不依赖具体梯度下降变体，而是提供梯度计算能力，可由用户选择更新策略。
4 算法变体与改进
4.1 带动量的反向传播
动量（Momentum）在更新时引入历史梯度信息，加速收敛并抑制振荡。更新规则为：\(\mathbf{v} \leftarrow \mu \mathbf{v} - \eta \nabla L\)，\(\mathbf{w} \leftarrow \mathbf{w} + \mathbf{v}\)，其中\(\mu\)为动量系数（通常取0.9），\(\mathbf{v}\)为速度向量。带动量的反向传播在梯度更新中保留部分前次更新方向，帮助算法跳出局部极小或平坦区域。
4.2 自适应学习率方法
4.2.1 AdaGrad
AdaGrad为每个参数自适应调整学习率，对频繁出现的特征给予较小学习率，对稀疏特征给予较大学习率。更新时，累积历史梯度平方和\(G_{t,i} = \sum_{\tau=1}^t g_{\tau,i}^2\)，然后参数更新：\(\theta_{t+1,i} = \theta_{t,i} - \frac{\eta}{\sqrt{G_{t,i} + \epsilon}} g_{t,i}\)。但AdaGrad的缺点是由于累积值不断增大，学习率会单调衰减至零。
4.2.2 RMSProp
RMSProp通过引入指数衰减平均来缓解AdaGrad过早衰减的问题。它使用滑动平均\(\mathbb{E}[g^2]_t = \gamma \mathbb{E}[g^2]_{t-1} + (1 - \gamma) g_t^2\)，参数更新为：\(\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\mathbb{E}[g^2]_t + \epsilon}} g_t\)，其中\(\gamma\)常取0.9。RMSProp在非凸优化中表现稳定。
4.2.3 Adam
Adam（Adaptive Moment Estimation）结合了动量和RMSProp的优势，同时维护一阶矩（动量）和二阶矩（梯度平方）的指数衰减估计。更新规则为：\(m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t\)，\(v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2\)，然后进行偏差校正，最终参数更新：\(\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t\)。Adam因默认超参数鲁棒、收敛快速而成为最广泛使用的优化器之一。
4.3 正则化技巧
4.3.1 L2正则化
L2正则化通过向损失函数添加权重平方和项（\(\lambda \sum w^2\)）来惩罚过大的权重。在反向传播中，该正则项为每个权重梯度增加一项\(2\lambda w\)，因此在参数更新时权重会额外衰减（权重衰减效果）。这有助于防止网络过拟合，鼓励模型学习更简单的模式。
4.3.2 Dropout与反向传播
Dropout是一种正则化技术，在前向传播中随机丢弃隐藏层神经元（即将其输出置零）。在反向传播中，只有未被丢弃的神经元参与梯度计算；被丢弃的神经元对应权重梯度为零，更新时保持原值。Dropout迫使网络学习更鲁棒的特征，同时因每次迭代训练一个不同的子网络，等效于集成学习，能有效减轻过拟合。
5 应用领域
5.1 图像识别
反向传播算法在全连接网络和卷积神经网络（CNN）中用于图像分类、目标检测等任务。CNN通过共享权重和局部连接减少参数量，但训练仍依赖反向传播。经典的LeNet、AlexNet等模型均通过反向传播调整卷积核和全连接层的权重，使网络能从像素级特征中学会识别物体。
5.2 自然语言处理
在循环神经网络（RNN）和Transformer等序列模型中，反向传播（包括随时间反向传播BPTT）用于训练语言模型、机器翻译、情感分析等模型。例如，通过反向传播调整词嵌入层、递归单元和注意力机制中的权重，使模型能捕捉句子的语义依赖关系。
5.3 语音识别
深度神经网络（DNN）用于声学模型训练时，反向传播通过最小化帧级交叉熵损失，调整各层权重以将声学特征映射为音素概率。早期的混合系统（DNN-HMM）中，反向传播大幅提升了语音识别准确率。后来的端到端系统（如CTC模型）也依赖反向传播。
5.4 强化学习中的策略梯度
在深度强化学习中，策略梯度方法（如REINFORCE）利用反向传播计算策略（神经网络）输出动作概率相对于累积奖励的梯度，从而调整策略参数。虽然损失函数来自强化学习信号而非监督标签，但梯度计算仍通过反向传播实现，使智能体能够学习复杂的控制策略。
6 局限性与挑战
6.1 梯度消失与爆炸
6.1.1 饱和激活函数的影响
使用Sigmoid或Tanh等饱和激活函数时，当输入落入函数饱和区（靠近±∞），其导数趋近于零。反向传播中误差项会乘以这些小的导数，导致多层传递后梯度指数级衰减，即梯度消失。这使得深层网络的前几层几乎无法有效更新。
6.1.2 层数过深问题
当网络层数增多时，即使采用非饱和激活函数（如ReLU），如果权重初始化不当，也可能导致梯度在反向传播中因重复乘以大型矩阵而指数级增长（梯度爆炸）。梯度爆炸会使参数更新过大，导致模型发散。梯度的不稳定限制了早期深度网络的训练深度，直到Batch Normalization和残差连接等技巧被引入。
6.2 局部最优与鞍点
神经网络损失函数通常高度非凸，存在众多局部极小值和鞍点。传统梯度下降和反向传播可能陷入这些区域，导致模型无法达到全局最优。在实践中，小批量梯度的随机性以及自适应优化器的动量机制有助于逃离鞍点和不良局部极小，但理论上仍无法保证找到全局最优解。
6.3 计算资源需求
反向传播每次迭代需执行一次前向传播和一次反向传播，计算量与网络参数总量成正比。对于深层、大型网络，训练过程需要大量样本，每次更新需处理海量数据。这要求高性能的GPU或TPU硬件以及高效的内存管理，导致训练成本高昂。此外，反向传播本身是顺序过程（误差逐层传递），限制了可并行化的程度。
7 相关拓展
7.1 自动微分技术
自动微分（Automatic Differentiation, AD）是计算机实现导数计算的通用技术，反向传播算法实际上是自动微分在神经网络中的一种特殊形式（反向模式AD）。自动微分通过将计算过程表示为计算图，前向计算值、反向沿图传播梯度。深度学习框架（如TensorFlow、PyTorch）内置自动微分引擎，允许用户仅定义前向计算，梯度自动通过反向传播计算，极大简化了模型实现。
7.2 与BP相关的其他学习算法
7.2.1 对比散度算法
对比散度（Contrastive Divergence, CD）是用于训练受限玻尔兹曼机（RBM）的近似学习算法。它不直接使用反向传播，而是基于能量模型的对比采样思想：通过一步吉布斯采样从数据分布和模型分布中抽取样本，近似计算负对数似然的梯度。CD算法虽然不是严格的反向传播，但其梯度计算借用了类似的自上而下和自下而上的信息传递机制。
7.2.2 逐层预训练
逐层预训练（Layer-wise Pre-training）由Hinton在2006年提出，是缓解深度网络训练困难的一种早期方法。该方法先用无监督学习（如RBM或自编码器）逐层初始化权重，再用反向传播对整个网络进行全局微调。预训练阶段将每层视为特征学习方法，为反向传播提供了良好的初始点，使其能避免梯度消失。但后来的研究显示，使用ReLU、Batch Normalization和更好的随机初始化方法后，直接端到端的反向传播训练效果更好，逐层预训练已较少作为标准流程使用。