1 基本概念
1.1 定义
优化器是指在给定目标函数、约束条件和可行域范围内，寻找较优解的一类方法、算法或工具。它可以作用于连续变量、离散变量或二者混合的问题，并通过系统性的搜索或更新过程不断改进解的质量。 在工程实现中，优化器既可表现为独立算法，也可作为更大系统中的核心模块，用于推动参数朝更有利的方向调整。
1.2 核心目标
优化器的核心目标通常是使目标函数值最小化或最大化。对于最小化问题，它希望降低损失、误差或成本；对于最大化问题，则致力于提升收益、性能或效用。 除了单纯追求数值最优，优化器还常需兼顾收敛速度、计算开销和解的稳定性，以便在实际场景中获得可用且可靠的结果。
1.3 适用问题类型
优化器适用于多种不同类型的问题，其选择往往取决于变量性质、约束形式以及目标函数结构。不同问题对搜索策略、精度要求和计算资源的需求差异较大，因此常需匹配相应的优化框架。
1.3.1 连续优化问题
连续优化问题中的变量通常取实数值，如函数参数、物理量或控制变量。此类问题常见于数值分析、控制设计和机器学习训练。 由于搜索空间连续，梯度信息往往能够被有效利用，因此许多经典优化器都以连续优化为主要应用场景。
1.3.2 离散优化问题
离散优化问题的变量通常只能取有限个或可数个值，例如0/1选择、整数决策或分类状态。 这类问题难以直接使用基于连续微分的更新方式，往往更依赖枚举、分支、搜索或启发式策略。
1.3.3 组合优化问题
组合优化问题强调从大量离散方案中选出最优组合，如路径选择、任务排程、装箱与匹配等。 此类问题通常具有较大的状态空间，且容易出现局部最优，因此常采用近似求解、元启发式算法或专门设计的搜索机制。
1.4 优化器与优化方法的区别
“优化器”通常指具体执行搜索和更新的算法实体，强调实现层面的求解工具；“优化方法”则更偏向于一种思路、原则或技术路线。 在实际语境中，两者常被交替使用，但前者更具体，后者更抽象。例如，梯度下降法既可被视为一种优化方法，也可在软件框架中作为优化器实例出现。
2 工作原理
2.1 目标函数
目标函数用于量化解的优劣，是优化器工作的核心依据。它将当前方案映射为一个标量值，优化器通过比较该值的变化判断更新方向。 在不同任务中，目标函数可能表示误差、损失、成本、距离、收益或综合评分，其设计质量往往直接影响优化效果。
2.2 约束条件
约束条件用于限定解必须满足的规则，包括等式约束、不等式约束、边界限制和逻辑约束等。 优化器在搜索过程中不仅要寻找更优解，还要确保解落在可行范围内。对复杂约束问题，常见做法包括罚函数法、投影法、拉格朗日乘子法等。
2.3 搜索空间
搜索空间是所有候选解构成的集合。优化器在这一空间中探索可能的方案，并逐步逼近目标较优区域。 搜索空间的维度、结构和连续性会显著影响优化难度。维度越高、结构越复杂，通常越需要更强的搜索策略和更好的初始化方式。
2.4 收敛机制
收敛机制描述优化器如何逐渐稳定到某个解或一组解附近。它体现了算法从“不断试探”走向“趋于稳定”的过程。 不同优化器的收敛行为差异明显，有的更快进入稳定状态，有的则更擅长在复杂空间中保持探索。
2.4.1 局部收敛
局部收敛是指算法最终停留在某个局部最优点、鞍点附近或局部稳定区域。 在非凸问题中，局部收敛很常见，许多优化器只能保证得到足够好的局部解，而不一定达到全局最优。
2.4.2 全局收敛
全局收敛强调算法从任意初值出发，都能在一定条件下逐步逼近全局最优解或全局最优集合。 这类性质通常对算法假设要求较高，在实际复杂问题中更常以概率意义、近似意义或渐近意义来讨论。
2.5 迭代更新过程
多数优化器采用迭代更新方式：先根据当前解评估目标值，再计算更新方向与步长，随后生成新解并重复这一过程。 这个循环一般会持续到满足停止条件，如误差足够小、改进幅度不足、迭代次数达到上限等。对复杂模型而言，更新过程还可能涉及动量累积、学习率调整或随机扰动。
3 分类
3.1 按求解策略分类
3.1.1 确定性优化器
确定性优化器在相同初始条件和参数设置下，通常会产生相同的结果。其更新规则明确，重复性较强。 这类方法适合结构清晰、数学性质较好的问题，便于分析收敛性和稳定性。
3.1.2 随机优化器
随机优化器在搜索过程中引入随机性，例如随机采样、扰动项或概率选择。 它们往往更适合复杂、噪声较多或存在大量局部最优的问题，因为随机机制有助于跳出局部区域。
3.1.3 启发式优化器
启发式优化器依赖经验规则、问题特征或直观策略进行搜索，通常不追求严格数学证明，而强调可行性和实用性。 这类方法常用于难以精确建模或求解代价过高的任务。
3.1.4 元启发式优化器
元启发式优化器是在更高层面设计的通用搜索框架，常通过模拟自然现象、群体行为或进化过程来探索解空间。 它们通常具备较强的通用性，但也可能面临参数敏感、收敛较慢等问题。
3.2 按梯度信息分类
3.2.1 基于梯度的优化器
基于梯度的优化器利用目标函数的一阶或二阶导数信息指导更新方向。 这类方法在可微问题中效率较高，尤其适合连续空间中的参数估计与模型训练。
3.2.2 无梯度优化器
无梯度优化器不依赖显式导数，而是通过采样、比较、搜索或代理模型来改进解。 它们适合目标函数不可导、难以求导或评估过程较为黑盒的场景。
3.3 按问题领域分类
3.3.1 数值优化器
数值优化器主要用于求解数学函数最优值，强调精度、稳定性和可分析性。 它们广泛见于科学计算、参数拟合和工程仿真。
3.3.2 机器学习优化器
机器学习优化器主要服务于模型训练，通过更新参数降低损失函数。 这类优化器通常需要兼顾大规模数据、噪声梯度和高维参数空间。
3.3.3 工程优化器
工程优化器面向实际系统设计与运行，如结构设计、流程控制、网络配置等。 其特点是约束多、目标复杂，并且往往需要在理论最优与工程可实施性之间取得平衡。
4 常见算法
4.1 梯度下降法
梯度下降法是最基础的连续优化算法之一，通过沿目标函数负梯度方向更新参数，使损失逐步减小。 它直观、易实现，是许多现代优化器的基础。
4.1.1 批量梯度下降
批量梯度下降在每次更新时使用全部训练样本计算梯度。 其优点是方向较稳定，缺点是单次迭代计算成本较高，适合样本量不大或需要精确下降方向的情形。
4.1.2 随机梯度下降
随机梯度下降每次仅使用一个样本或极少样本估计梯度。 它更新频繁、速度较快，但波动也更明显，常带有较强的随机性。
4.1.3 小批量梯度下降
小批量梯度下降介于前两者之间，通常以一小组样本计算梯度。 它兼顾了计算效率与更新稳定性，因此在深度学习中使用极为广泛。
4.2 牛顿法与拟牛顿法
牛顿法利用二阶导数信息构造更精确的更新方向，通常具有较快的局部收敛速度。 拟牛顿法则通过近似海森矩阵减少计算代价，在很多问题上取得了较好的平衡。常见的拟牛顿思想强调以较低成本逼近二阶信息。
4.3 共轭梯度法
共轭梯度法适用于特定类型的线性系统和二次优化问题，能够在较少迭代内获得较好结果。 它在大规模稀疏问题中具有一定优势，常用于数值计算和工程分析。
4.4 动量法
动量法在更新时引入历史梯度累积，减少震荡并加快在一致方向上的前进速度。 它常被视为改善梯度下降性能的重要技巧。
4.4.1 Nesterov动量
Nesterov动量在计算当前梯度前先进行“预判式”更新，从而获得更灵敏的修正方向。 相较普通动量，它在某些情况下能带来更好的收敛表现。
4.5 自适应学习率方法
自适应学习率方法会根据不同参数或不同阶段的梯度表现自动调整步长。 这类方法对尺度差异较大的参数通常更友好，也降低了人工调参难度。
4.5.1 AdaGrad
AdaGrad会根据历史梯度平方的累积情况缩小或调整学习率。 它对稀疏特征较为有效，但在训练后期可能出现步长过快衰减的问题。
4.5.2 RMSProp
RMSProp通过滑动平均方式平衡历史梯度影响，缓解了学习率持续减小的缺点。 它在非平稳目标和神经网络训练中应用广泛。
4.5.3 Adam
Adam结合了动量思想与自适应学习率机制，因兼具稳定性与适应性而被广泛采用。 它通常具有较强的实践表现，尤其适合大规模深度模型训练。
4.5.4 AdamW
AdamW在权重衰减处理上对传统Adam进行了改进，使正则化与梯度更新更清晰地分离。 这一设计常有助于提升泛化性能，因而在许多训练任务中表现良好。
4.6 群智能算法
群智能算法通过模拟群体协作、信息共享和集体进化来寻找较优解。 它们往往不依赖精确梯度，适合复杂组合空间与黑盒目标。
4.6.1 粒子群优化
粒子群优化模拟粒子在搜索空间中的协同移动，通过个体经验和群体经验共同指导更新。 它结构简单、易于实现，在连续优化问题中较常见。
4.6.2 蚁群算法
蚁群算法借鉴蚂蚁寻找路径时的信息素机制，适合图结构和路径类问题。 它在组合优化、调度和路由问题中具有较强代表性。
4.6.3 遗传算法
遗传算法模拟生物进化过程，通过选择、交叉和变异不断产生新解。 它具有较强的全局搜索能力，但通常需要较多计算资源和参数调节。
5 性能指标
5.1 收敛速度
收敛速度衡量优化器达到可接受解所需的时间或迭代次数。 在实时系统和大规模训练中，这一指标尤为重要。
5.2 稳定性
稳定性反映优化器在不同初值、不同批次数据或不同噪声条件下结果的一致程度。 稳定性较高的优化器通常更容易部署和复现。
5.3 计算复杂度
计算复杂度描述优化器每次更新和整个求解过程所需的运算与存储开销。 复杂度过高会限制其在大规模问题中的实际应用。
5.4 鲁棒性
鲁棒性是指优化器面对噪声、异常值、模型误差或超参数变化时保持性能的能力。 鲁棒性好的方法更适合真实环境中的不确定条件。
5.5 解的精度
解的精度衡量最终结果与最优解之间的接近程度。 某些场景强调高精度，而另一些场景则更看重速度和可接受的近似解。
5.6 可扩展性
可扩展性体现优化器在变量规模、数据规模和计算平台变化时的适应能力。 对于现代大模型和复杂工程系统，可扩展性往往决定了算法能否落地。
6 应用领域
6.1 机器学习与深度学习
6.1.1 神经网络训练
神经网络训练本质上是一个高维参数优化过程，优化器负责降低损失函数并更新权重。 不同优化器会影响训练速度、最终精度以及泛化表现。
6.1.2 超参数调优
超参数调优通过搜索学习率、批量大小、正则项等配置，提升模型整体效果。 这类任务常结合网格搜索、随机搜索或贝叶斯优化等方法。
6.2 工业工程
6.2.1 生产调度
生产调度关注任务、设备和时间安排的最优组合，以提高效率并减少等待。 优化器可帮助协调多工序、多资源之间的关系。
6.2.2 资源分配
资源分配涉及人力、设备、能源和预算等有限资源的合理配置。 优化器常用于在约束条件下寻找成本与收益之间的平衡点。
6.3 控制系统
6.3.1 参数整定
参数整定旨在选择控制器参数，使系统响应更平稳、更快速或更准确。 优化器常用于自动化调参，以替代大量人工试错。
6.3.2 跟踪控制
跟踪控制要求系统输出尽量贴近参考轨迹。 优化器可通过调整控制输入，减小偏差并改善动态性能。
6.4 运筹学
6.4.1 线性规划
线性规划用于在线性目标和线性约束下寻找最优解。 它是运筹学中的经典问题，具有成熟的理论与求解工具。
6.4.2 非线性规划
非线性规划处理目标函数或约束中含有非线性关系的情形。 由于结构更复杂，求解时往往更依赖近似与迭代算法。
6.4.3 整数规划
整数规划要求部分或全部变量取整数值，常见于排程、选址和网络设计。 由于可行解数量庞大，求解难度通常显著高于连续规划。
6.5 计算机图形与视觉
6.5.1 图像重建
图像重建通过优化过程恢复缺失、受损或低质量图像中的信息。 优化器在其中常用于减少重建误差并提升视觉质量。
6.5.2 形状优化
形状优化关注几何结构在给定目标下的改进，如降低阻力、增强强度或改善外观。 它常结合数值模拟与参数搜索完成。
7 实现与工程实践
7.1 初始化策略
初始化策略决定优化过程从何处开始。 良好的初始值有助于提高收敛速度，减少陷入不佳局部区域的概率。
7.2 学习率与步长设置
学习率或步长控制每次更新的幅度，是影响优化成败的关键参数之一。 过大可能导致震荡甚至发散，过小则会使收敛过慢。
7.3 停止准则
停止准则用于判断优化何时结束，常见依据包括迭代次数、目标变化量、梯度大小或验证集表现。 合理的停止条件可以避免无效计算，并减少过度优化。
7.4 局部最优与鞍点问题
在复杂目标函数中，优化器常会遇到局部最优点和鞍点。 前者可能使算法过早停滞，后者则可能造成更新缓慢，因此通常需要借助动量、随机扰动或更强的搜索机制应对。
7.5 超参数选择
超参数选择直接影响优化器性能，包括学习率、动量系数、正则化强度等。 实践中常通过经验、验证集或自动搜索方法进行筛选。
7.6 并行化与加速
并行化与加速旨在利用多核处理器、GPU或分布式系统提升优化效率。 对于大规模数据和高维模型，这一环节往往是工程落地的重要组成部分。
8 典型挑战
8.1 非凸问题
非凸问题存在多个局部最优和复杂地形，求解难度较高。 优化器往往只能获得近似最优解，而难以保证全局最优。
8.2 高维问题
高维问题中，变量数量巨大，搜索空间迅速膨胀。 这会增加计算压力，也可能使梯度和采样策略更难发挥作用。
8.3 病态条件数
病态条件数意味着目标函数在不同方向上的变化尺度差异很大。 这类问题常导致收敛缓慢或更新不稳定，需要更精细的预处理和步长控制。
8.4 离散搜索爆炸
在离散或组合问题中，可行方案数量可能呈指数增长。 搜索爆炸使穷举几乎不可行，因此需要更聪明的剪枝、启发式或近似方法。
8.5 过拟合与欠拟合
在机器学习场景中，优化器不仅要降低训练误差，还要避免模型过度贴合训练数据。 过拟合与欠拟合都与优化过程及模型容量密切相关。
8.6 噪声与不确定性
噪声和不确定性会干扰目标评估和梯度估计，使优化轨迹更加波动。 在此情况下，稳健更新、平均化策略和概率建模通常更有价值。
9 历史与发展
9.1 早期数值优化
早期数值优化主要围绕微积分、线性代数和解析方法展开，重点是解决可精确建模的数学问题。 这一时期奠定了梯度法、牛顿法等经典框架的基础。
9.2 现代计算优化
随着计算机性能提升，优化器开始广泛应用于大规模科学计算、工程设计和复杂系统分析。 数值方法与计算资源的结合，使更多原本难以求解的问题变得可操作。
9.3 机器学习时代的优化器演进
在机器学习和深度学习兴起后，优化器的重点逐渐转向大规模、非凸、噪声化目标。 此时，随机梯度下降、自适应学习率和动量类方法迅速发展，并形成了丰富的优化生态。
9.4 未来发展趋势
未来的优化器可能更加重视自适应性、可解释性与计算效率，并与自动化建模、分布式计算和硬件加速更紧密结合。 同时，面对更复杂的问题类型，跨领域融合与更稳健的求解策略也将持续受到关注。