1 基本概念
梯度下降是一种通过迭代更新参数来最小化（或最大化）可微函数的优化算法。它利用目标函数的梯度信息，引导搜索方向逐步逼近最优解。
1.1 数学定义
梯度下降的数学基础建立在多元微积分之上，通过计算函数在参数空间中的变化率来指导搜索。
1.1.1 梯度与方向导数
梯度是一个向量，其分量是目标函数对各参数的偏导数。方向导数则表示函数在某一方向上的变化率，梯度方向对应方向导数取得最大值的方向。
1.1.1.1 梯度的几何意义
在几何上，梯度指向函数值增长最快的方向，其模长表示该方向的变化速率。因此，负梯度方向即为函数值下降最快的方向。在等高线图中，梯度始终垂直于等高线，指向外侧（数值增加的方向）。
1.1.2 迭代更新公式
梯度下降的核心迭代规则为：新参数值 = 旧参数值 - 学习率 × 梯度。数学表达为：
θ_new = θ_old - η ∇J(θ_old)
其中θ表示参数向量，η是学习率，∇J(θ_old)是损失函数在θ_old处的梯度。
1.1.2.1 学习率的作用
学习率控制每次参数更新的步长。过大的学习率可能导致发散或震荡，过小的学习率则使收敛缓慢。合适的步长需要在探索速度与稳定性之间取得平衡，实践中常通过衰减策略或自适应方法进行调整。
1.2 目标函数与损失函数
目标函数是待优化的函数，在机器学习中通常称为损失函数或代价函数，用于衡量模型预测与真实值之间的差异。常见的损失函数包括均方误差（回归问题）和交叉熵（分类问题）。梯度下降的目标是找到使损失函数最小化的参数。
2 算法原理
根据每次更新时使用的数据样本数量，梯度下降可分为批量、随机和小批量三种主要形式。
2.1 批量梯度下降
批量梯度下降（Batch Gradient Descent, BGD）在每次迭代中使用整个训练集计算梯度。
2.1.1 全数据集计算梯度
该方法遍历所有样本后取梯度均值，确保更新方向是全局最陡下降方向。由于利用了全部数据，梯度计算准确，算法稳定性高。
2.1.2 收敛特性与稳定性
BGD在线性凸问题上能稳定收敛到全局最小值。但其计算开销随数据量线性增长，对于大数据集效率极低，且面对非凸问题时可能陷入局部极小。
2.2 随机梯度下降
随机梯度下降（Stochastic Gradient Descent, SGD）每次仅随机选取一个样本来计算梯度并更新参数。
2.2.1 单样本更新策略
SGD的更新公式为：θ = θ - η ∇J(θ; x_i, y_i)，其中(x_i, y_i)为单个训练样本。由于单样本的梯度估计存在噪声，更新轨迹呈现随机波动。
2.2.2 噪声与收敛速度
随机噪声使SGD有机会跳出局部极小点，且每次更新计算量极小，适合大规模数据。但高方差导致收敛路径曲折，需要精心设计学习率衰减策略以确保最终收敛。
2.3 小批量梯度下降
小批量梯度下降（Mini-batch Gradient Descent, MBGD）综合了BGD和SGD的优点，每次使用一个固定大小的样本子集（称为一个批次）计算梯度。
2.3.1 批量大小的选择
批量大小（batch size）通常选为2的幂次（如32、64、128、256）。较小的批量带来更大随机性，较大的批量则更接近完整梯度。现代深度学习中，批量大小常根据显存容量和计算效率调整。
2.3.2 平衡效率与精度
MBGD在计算效率和收敛稳定性之间取得了良好折中：它比SGD更稳定，同时显著快于BGD。矩阵运算技术在批次计算中高度优化，使得现代硬件（如GPU）能高效处理。
3 变体与改进
为解决基本梯度下降的收敛慢、易震荡等问题，研究者提出了多种改进算法。
3.1 动量梯度下降
动量（Momentum）方法模拟物理中的惯性概念，通过累积历史梯度来加速收敛。
3.1.1 物理类比与动量项
想象一个小球沿损失曲面滚动：动量项v = γv + η∇J(θ)中，γ（通常取0.9）为动量衰减系数，控制历史速度的保留比例。参数更新变为：θ = θ - v，使得更新方向在历史方向上得到增强。
3.1.2 加速收敛与逃离局部极小
动量项帮助算法在平坦区域加速，同时在曲率变化大的方向平滑振荡。更重要的是，累积的动量有助于穿越浅的局部极小点或鞍点，从而更可能找到更好的解。
3.2 自适应学习率方法
这类方法为每个参数独立调整学习率，以应对不同维度的尺度差异。
3.2.1 AdaGrad
AdaGrad（Adaptive Gradient）通过累积历史梯度平方来动态缩放学习率。
3.2.1.1 累积梯度平方
AdaGrad对每个参数维护一个累加变量G_t = G_{t-1} + (∇J(θ_t))^2，更新公式为：θ = θ - η / (√G_t + ε) · ∇J(θ_t)。频繁更新的参数因累积值大而获得较小学习率，稀疏参数则获得较大步长。
3.2.2 RMSProp
RMSProp（Root Mean Square Propagation）改进了AdaGrad的单调递减学习率问题。
3.2.2.1 指数衰减平均
RMSProp使用指数移动平均代替累积和：E[g²]_t = β E[g²]_{t-1} + (1-β)(∇J(θ_t))²，其中β通常取0.9。这使得近期梯度占比更大，避免了学习率过早归零，更适合非平稳目标。
3.2.3 Adam
Adam（Adaptive Moment Estimation）结合了动量与RMSProp的思想，是目前最流行的优化器之一。
3.2.3.1 一阶矩与二阶矩估计
Adam维护两个状态变量：一阶矩m_t（梯度的指数移动平均）和二阶矩v_t（梯度平方的指数移动平均）。参数更新结合两者，实现方向与步长的自适应。
3.2.3.2 偏差校正
由于m_t和v_t初始化为零，早期估计会偏向零。Adam通过偏差校正：m̂_t = m_t / (1-β₁^t) 和 v̂_t = v_t / (1-β₂^t)，确保初始阶段更新合理。最终更新公式为：θ = θ - η · m̂_t / (√v̂_t + ε)。
3.3 Nesterov加速梯度
Nesterov加速梯度（NAG）是动量方法的改进版本：先在当前速度方向上“预跳”一步，然后计算该位置的梯度。更新规则为：v = γv + η∇J(θ - γv)，θ = θ - v。这种“前瞻”能力使NAG比标准动量更早修正方向，收敛更快，尤其在曲率剧烈变化的区域表现优异。
4 收敛性与数学分析
梯度下降的收敛特性取决于目标函数的性质和算法的具体形式。
4.1 凸函数下的收敛率
对于凸优化问题，梯度下降能够保证收敛到全局最小值，收敛速度由函数的几何性质决定。
4.1.1 强凸与Lipschitz光滑
若目标函数满足强凸性（存在常数μ>0使得函数曲率下界）和Lipschitz光滑（梯度变化率有上界L），则批量梯度下降的收敛率为线性，即误差以指数速率下降。具体表现为迭代次数t后，函数值与最优值的差距O(exp(-μt/L))。对于一般凸函数，收敛率为次线性O(1/t)。
4.2 非凸函数的挑战
现实中的目标函数（如神经网络的损失函数）通常非凸，充满局部极小、鞍点和平坦区域。
4.2.1 鞍点与局部极小
鞍点处的梯度为零但非极值，成为非凸优化的主要障碍。梯度下降在鞍点附近可能陷入停滞，而随机梯度下降和动量方法则可能通过噪声或动量逃逸。严格鞍点（Hessian矩阵有负特征值）可通过扰动方法克服。
4.2.2 随机梯度下降的收敛证明
对于非凸目标，SGD的收敛分析通常针对“平滑”假设：若函数Lipschitz光滑且梯度有界，则SGD在期望意义下收敛到一阶稳定点（梯度范数小于给定阈值）。收敛速率一般为O(1/√T)，其中T为迭代次数。更精细的分析还涉及方差衰减和批量自适应。
5 实践应用
梯度下降是机器学习领域最广泛使用的优化工具，其具体应用涉及多个层面。
5.1 在机器学习中的角色
几乎所有能够定义损失函数的模型都可以通过梯度下降训练。
5.1.1 线性回归与梯度下降
线性回归的均方误差损失函数是凸函数，梯度下降能保证收敛到解析解。虽然线性回归存在闭式解（正规方程），但梯度下降仍被用于大规模特征或在线学习场景。其梯度公式简洁：∇J(θ) = (2/m)Xᵀ(Xθ - y)，其中X为特征矩阵，y为标签。
5.1.2 神经网络训练
深度学习模型的训练几乎完全依赖梯度下降及其变体。反向传播算法高效计算各层参数的梯度，然后通过优化器（如Adam、SGD）更新。现代训练通常结合批量归一化、权重衰减和Dropout等技巧，而梯度下降作为核心驱动，决定了模型能否收敛到好的泛化解。
5.2 超参数调优
梯度下降的成功依赖超参数的精心选择，主要包括学习率和批量大小。
5.2.1 学习率调度（衰减策略）
固定学习率难以适应整个训练过程。常用策略包括：步长衰减（每若干epoch降低倍率）、指数衰减、余弦退火以及循环学习率（周期性变化）。实践者常采用预热（warm-up）策略，先从小学习率逐步增至预设值，再配合衰减，以稳定早期训练。
5.2.2 批量大小与正则化
较小的批量大小（如32）往往引入额外随机性，起隐式正则化作用，可能提升泛化能力。而大批量训练（如1024以上）虽然计算效率高，但可能收敛到更尖锐的极小值，导致泛化变差。调整批量大小时常需同步调整学习率，遵循线性缩放规则（double batch size，double learning rate）。
5.3 常见陷阱与应对
梯度下降在实践中可能遇到数值不稳定性问题，需要采用特定技术解决。
5.3.1 梯度爆炸与梯度消失
在深度网络中，梯度可能因链式法则在反向传播过程中指数级增长（爆炸）或衰减（消失）。梯度爆炸导致参数更新过大，引发数值溢出；梯度消失使浅层参数几乎不更新，阻止网络学习长程依赖。
5.3.2 梯度裁剪与归一化
梯度裁剪（gradient clipping）将梯度范数限制在阈值内，防止爆炸。归一化技术如批量归一化（Batch Normalization）和层归一化（Layer Normalization）通过调整层输入分布来缓解梯度消失，同时加速收敛。权重初始化策略（如Xavier、He初始化）也是重要预防手段。
6 历史与延伸
梯度下降的思想可追溯到18世纪，但其在当代的复兴与计算能力的提升密切相关。
6.1 早期发展（Cauchy至20世纪）
1847年，法国数学家Augustin-Louis Cauchy首次提出梯度下降法（当时称为“最速下降法”）用于求解线性方程组。然而在当时的计算条件下，该方法效率低下。20世纪40年代，Hestenes和Stiefel提出了共轭梯度法作为改进。1963年，Robbins和Monro的随机逼近理论为SGD奠定了数学基础。直至20世纪末，梯度下降主要用于统计和工程优化领域。
6.2 与深度学习的复兴
2006年后，深度学习兴起，大规模神经网络的训练需求推动了梯度下降变体的爆发式发展。2012年的AlexNet使用SGD训练卷积神经网络，证明了梯度下降在大规模数据下的有效性。此后，Adam（2014）、AMSGrad等自适应优化器成为行业标准，与GPU并行计算结合，实现了对数十亿参数模型的训练。
6.3 相关优化算法对比
梯度下降派生了众多优化器，各自适用于不同场景：SGD适合调参熟练的专家，Adam在最复杂任务中往往优于其他算法，NAG在视觉任务中表现突出。二阶优化算法（如牛顿法）需要计算Hessian矩阵，计算成本高昂，在大规模问题中不实用。拟牛顿法（如L-BFGS）在小批量和非凸场景中不如梯度下降流行。此外，无梯度优化（如进化算法）在某些强化学习和黑箱优化中有应用，但效率远低于梯度方法。