1 迭代终止准则概述
1.1 定义与核心目标
迭代终止准则是指在数值计算、优化求解、机器学习训练等需要重复更新的过程中，依据某些可观测量判断“继续迭代是否仍有价值”的规则。其核心目标是在不显著牺牲解的质量的前提下，尽量减少无效计算，并降低由于迭代过度带来的数值风险或性能退化。
1.2 适用场景：优化、求解器与训练迭代
在优化与求解中，迭代终止常用于数值最小化、方程迭代、线性/非线性求解器等场景：当目标函数不再明显改善、约束不再显著满足、或残差已达到容许水平时停止计算。在机器学习训练中，终止准则还与泛化表现相关；例如验证集指标不再提升时停止训练，避免过拟合，同时节省计算资源。
1.3 终止准则的常见输入信号
常见信号包括：目标函数值与其改变量、梯度或其范数的大小与变化、残差范数、约束违反度、参数（变量）更新量、学习率、迭代次数，以及与统计显著性相关的指标波动信息。不同算法体系选择的“信号”不同，但总体上都在衡量：当前是否已接近理想解、改进速度是否足够、以及继续迭代的代价是否值得。
1.4 终止时机的工程权衡：精度、代价与稳定性
更严格的终止阈值通常能提高精度，但会增加迭代次数和运行时间；更宽松的阈值可能提前停下，导致欠收敛。与此同时，过度迭代可能在有限精度下放大舍入误差，或在存在噪声、非凸地形、约束处理不稳定时引发震荡或性能下降。因此，工程上通常把终止准则设计为多条件组合，并与学习率调度、动量、预条件或正则化等策略共同使用。
2 数值优化中的常见终止准则
2.1 基于目标函数的准则
2.1.1 目标函数改变量阈值
| 若迭代过程中目标函数从 \(f_k\) 变为 \(f_{k+1}\)，可用绝对差 \( | f_{k+1}-f_k | \) 或相对差 \( | f_{k+1}-f_k | / | f_k | \) 判断是否继续。其直观含义是：目标值改进已经很小，继续优化可能带来有限收益。该类方法对目标尺度较敏感，常需要结合归一化或相对指标。 |
|---|
2.1.2 相对改变量与尺度无关性
| 当目标函数在不同问题或不同量纲下变化幅度差异显著时，使用相对改变量比使用绝对差更稳健。例如以 \(\frac{ | f_{k+1}-f_k | }{\max(1, | f_k | )}\) 形式衡量，能在目标值较小或接近零的情形下避免分母失衡。相对指标的基本思想是让“阈值”与数值量纲脱钩，从而更便于迁移。 |
|---|
2.2 基于梯度或一阶信息的准则
2.2.1 梯度范数阈值
| 在许多优化问题中，若梯度范数 \(\|\nabla f(x_k)\|\) 足够小，通常意味着当前点接近一阶驻点。工程上常以 \(\|\nabla f(x_k)\| \le \varepsilon_g\) 作为停机条件。对无约束问题，该准则与一阶最优性条件关系较直接；对带约束问题，梯度往往需要通过约束相关的度量（如投影梯度或KKT残差）来形成可比量。 |
|---|
2.2.2 梯度下降速率与停机判据
除了梯度大小，有时还关注梯度相关量的下降趋势，例如在若干迭代窗口内，梯度范数的下降速率是否低于阈值，或目标函数下降曲线是否进入平台期。该类方法旨在避免“梯度偶然变小导致过早停止”的情况，并对震荡更具鲁棒性。
2.3 基于残差或约束违反的准则
2.3.1 残差范数阈值
| 当优化表述为求解方程或最小化残差型目标（如最小二乘）时，残差 \(r(x_k)\) 常作为核心指标。一般以 \(\|r(x_k)\|\) 或其平方形式与阈值比较。残差阈值与误差水平往往更直接，尤其在方程求解或线性化误差可解释时效果更好。 |
|---|
2.3.2 KKT 条件或约束违反度阈值
对约束优化问题，可使用KKT条件相关残差衡量停机。例如同时检查互补性、可行性与对偶可行性：若约束违反度足够小且一阶最优性残差也足够小，则认为已达到可接受的近似解。工程实践中，约束违反度常以 \(\max(0, g_i(x_k))\) 对不等式约束聚合、或以等式约束的绝对误差形式衡量，再与容忍阈值比较。
2.3.3 多指标并行时的组合策略
实际问题通常不会只依赖单一信号。常见组合包括：对多个条件取“与”（AND）——所有指标都达标才停止；或取“或”（OR）——只要满足某类质量要求就停止。此外还会引入优先级：例如先确保可行性，再放宽目标改进要求。合理的组合能降低误判风险，例如避免“目标下降但约束严重不满足”的不良终止。
2.4 基于变量变化量的准则
2.4.1 参数更新量阈值（步长尺度）
| 当 \(x_{k+1}-x_k\) 的大小很小，说明迭代更新趋于停滞，可用 \(\|x_{k+1}-x_k\|\le \varepsilon_x\) 或步长 \(\alpha_k\|\cdot\|\) 的相关度量作为停机依据。该类准则在梯度噪声较大、目标函数改进不稳定时可能更有用，因为参数本身的移动幅度更直观。 |
|---|
2.4.2 归一化更新与数值稳健性
| 变量变化量容易受到尺度影响：当变量量纲或初始尺度不同，\(\|x_{k+1}-x_k\|\) 的数值可比性较差。归一化更新常采用 \(\frac{\|x_{k+1}-x_k\|}{\max(1,\|x_k\|)}\) 以获得更稳定的判断。这样能减少阈值在不同尺度问题上失效的概率。 |
|---|
2.5 最大迭代次数与安全止损
2.5.1 上限设置与计算预算
最大迭代次数通常是兜底策略，确保计算在资源预算内结束。其作用不只是防止无限迭代，还能与外部监控系统、超时限制或并行任务的调度机制相衔接。上限设置往往要结合问题规模、算法复杂度与经验收敛速度。
2.5.2 防止死循环与数值发散
当算法出现数值发散、NaN/Inf、或目标函数异常增长时，安全止损也可被视为一种特殊终止准则。例如若目标值连续若干步不降反升到阈值以上，就触发停止并报告异常状态。这样可以避免浪费大量算力并阻止错误结果继续传播。
3 机器学习训练中的终止准则（含早停）
3.1 训练指标与验证指标的差异
机器学习训练中常见的做法是以验证集或测试集上的指标作为终止依据，而非仅依赖训练损失。训练集指标通常会持续优化，甚至在过拟合开始后仍下降；验证指标则更能反映泛化能力。因此，终止准则往往围绕“验证集是否仍在改善”来设计。
3.2 早停（early stopping）的实现方式
3.2.1 验证损失不再改善：耐心（patience）机制
早停的经典形式是：当验证损失（或验证指标）在若干评估间隔内不再超过最佳值，就停止训练。耐心机制（patience）用于容忍小幅波动：例如验证损失没有在连续 \(p\) 个检查点内改善，则认为收益耗尽并终止。该策略能在一定程度上抵抗随机梯度带来的抖动。
2.2.2 最佳模型保存与恢复策略
为了避免“停机时当前参数不如历史最佳”，常见做法是在训练过程中保存验证指标最优时的模型快照，并在停止后回滚到该最优权重。若训练中断或需恢复，也可结合检查点（checkpoint）实现可复现实验。
2.2.3 噪声环境下的平滑与阈值
在小批量噪声较强或数据分布动态变化时，指标曲线可能频繁上下摆动。工程上可对验证损失进行滑动平均，或使用“最低改变量”阈值（如需改善超过 \(\delta\) 才计入进步）来减少“假改善”触发。这样能让早停更稳定，也降低过早停止的概率。
3.3 基于学习率调度的停机判据
3.3.1 学习率降至下限的终止规则
学习率调度常配合终止准则：当学习率逐步衰减并最终降到预设下限，说明进一步更新幅度可能过小，继续训练的边际收益较低。此时可以触发停止，作为一种与优化过程状态相关的“节能”策略。
3.3.2 调度触发与停止条件的衔接
调度器通常依据指标（如验证损失）或迭代计数调整学习率。停止条件与调度应当衔接：例如当指标多次无改进触发多次衰减后仍无改善，才真正停止。通过这种层级关系，能够先给出学习率调整的机会，再决定是否结束训练。
3.4 基于统计检验或置信度的停止
3.4.1 指标波动的显著性判断
除了“是否变好”的确定性规则，也可使用统计检验判断变化是否显著。例如比较不同训练阶段的验证性能差异，若差异落在噪声水平内，则不认为性能真正改善，从而提前停止或延后评估。
3.4.2 采用置信区间的停止决策
置信区间方法将验证指标的不确定性纳入决策：若当前性能的置信下界仍不优于历史最优的置信上界，说明改善不太可能发生，可以停止训练。该类方法在小样本或高度噪声任务中可能更合适，但需要额外的统计假设或估计流程。
4 终止准则的组合、参数整定与实践指南
4.1 多条件并行：AND/OR 与优先级
多条件并行是常态。AND组合适用于必须同时满足“可行且足够好”的情形；OR组合更适合“只要达到任一质量标准就够用”的工程需求。优先级常用于避免矛盾：例如先检查可行性或数值稳定，再检查目标改进，避免出现“先满足停止但解不可用”的情况。
4.2 阈值选择原则：绝对值 vs 相对值
阈值选择应与指标尺度匹配。绝对阈值适合指标有明确量纲并且尺度稳定的问题；相对阈值适合跨尺度迁移或目标值可能变化很大的场景。对相对指标，常见实践是使用带“1”的归一化形式，降低指标接近零时的分母敏感性。
4.3 归一化、尺度变化与鲁棒性
当变量尺度、梯度尺度或残差尺度随训练过程发生显著变化时，终止准则需要具备尺度鲁棒性。归一化更新、相对误差、或基于历史统计的归一化（如移动均值/方差尺度）都能缓解“阈值在后期不再适用”的问题。
4.4 非凸与震荡情形下的常见陷阱
4.4.1 停在局部“看起来差不多”的点
在非凸问题中，目标可能在某些区域进入缓慢变化状态，导致目标改变量小而梯度仍未充分小。此时仅用目标差可能过早停止。更稳妥的做法是引入梯度或KKT相关残差作为补充条件。
4.4.2 指标改变量小但梯度未小：如何处理
| 当 \( | f_{k+1}-f_k | \) 已很小但 \(\|\nabla f(x_k)\|\) 仍偏大，可能是由于目标平坦区域导致的“虚假停滞”。可通过放宽或调整目标改变量阈值，同时强化梯度或更新量条件来重新评估停止时机；也可以检查是否存在数值误差、步长过小或调度不匹配等原因。 |
|---|
4.5 与学习率/动量/预处理的协同
终止准则并非孤立存在。使用动量、预条件或二阶信息时，梯度与参数更新的关系可能改变，单一指标阈值难以直接复用。工程上通常根据优化器的更新结构选择更匹配的信号，例如用预条件后的梯度范数、或用与步长相关的尺度化更新量作为停机依据。
4.6 记录与诊断：如何判断“停得对不对”
判断终止是否合理，可从诊断角度入手：终止前后指标曲线是否进入平台；是否出现“频繁触发早停又很快改善”的现象；不同随机种子下终止迭代次数是否稳定；以及与更严格阈值或更多迭代的对比结果。通过记录每个信号的轨迹，便能定位是阈值过松、阈值过紧，还是组合逻辑导致误判。
5 特殊问题类型的停止准则
5.1 含约束优化与投影类方法
5.1.1 约束可行性与目标改进的联动停机
在投影法或可行性优先的方法中，可行性通常比目标改进更关键。常见联动策略是：若约束违反度已降到容忍范围内，同时目标函数改进低于阈值，则停止；若约束尚未可行，则即使目标下降也不立刻终止，以避免收敛到不可用解。
5.1.2 罚函数或拉格朗日乘子相关指标
当使用罚函数时，除了原始目标外，还会监控惩罚项或总增广目标的变化；当罚系数或乘子更新机制参与时，可进一步关注乘子变化幅度或与对偶残差相关的指标。终止准则通常需要与罚参数调节频率匹配，避免过早停止在“惩罚尚未生效”的阶段。
5.2 随机优化与小批量噪声
5.2.1 以移动平均估计改变量
小批量梯度会引入噪声，导致单步指标波动。移动平均（如对验证损失或目标改变量取窗口平均）能降低噪声影响，使停机判据更接近长期趋势。窗口长度需要与评估频率相协调，过短可能仍受抖动，过长又可能延迟停止。
5.2.2 梯度估计方差对停止的影响
在随机优化中，梯度估计的方差会随批量大小、学习率与数据特性变化。若方差较大，梯度范数可能难以收敛到很小的阈值，此时不宜依赖过于严格的梯度阈值。更合适的做法是结合更新量阈值、或以统计稳定性（如方差估计低于阈值）作为停机依据。
5.3 方程求解与迭代线性代数
5.3.1 残差作为主判据
| 求解方程或线性系统时，残差通常是最直接的质量度量。例如解的近似程度可由 \(\|Ax-b\|\) 或其相对形式评估。残差阈值与求解精度通常有更清晰的对应关系。 |
|---|
5.3.2 条件数与停止准则的关系
当问题条件数较大（病态）时，即使残差下降，也可能对应解的误差不一定同等下降。此时终止准则可能需要更谨慎的相对误差评估，或结合迭代方法的误差传播特性调整阈值。工程中常见做法是使用相对残差并设置最大迭代次数，同时在出现数值异常时提前停止。
6 工具化实现与“工程小梗”
6.1 常见框架中的停止接口与日志规范
许多机器学习与优化框架提供回调（callback）或回合控制接口，用于实现早停、学习率调度与日志记录。合理的日志规范应包括：迭代步数/epoch、训练指标、验证指标、当前学习率、关键阈值与触发原因（例如“patience耗尽”“残差低于阈值”“约束违反度达标”）。清晰记录有助于复现实验与后续诊断。
6.2 停止准则的可复现性：随机种子与评估频率
终止时机会受到随机性影响，尤其在随机优化、数据增强或小批量训练中。为了可复现，通常需要固定随机种子，并统一评估频率（例如每N步验证一次）以及数据划分方式。若评估频率过低，可能错过短暂的最优区间，导致保存的“最佳模型”并非真正全局最优。
6.3 “停机按钮”的选择：别把阈值当玄学
6.3.1 把单位问题（尺度）处理好，终止就会更靠谱
阈值玄学的常见根源是尺度混乱：目标值量纲、梯度范数、残差或更新量没有归一化，导致同一个数值阈值在不同问题上含义完全不同。把尺度处理到位后，终止准则通常会明显更稳定、跨任务迁移更顺畅。
6.3.2 一套参数打天下的代价：何时需要重调
尽管希望减少调参，但当任务结构发生变化（例如模型容量、数据噪声水平、约束强度或优化器类型），终止阈值往往需要重估。经验上，当出现频繁“过早停”或“几乎不停止直到触发最大迭代”时，就说明当前阈值不匹配，需要重新整定耐心、阈值或组合逻辑。
7 评价与研究视角
7.1 终止准则对收敛性与误差界的影响（概念性）
从理论角度，终止准则不仅影响实际运行时间，也会影响可证明的误差界或收敛性质。某些算法在满足特定停止条件时能保证达到期望精度；若停止条件过于松弛，可能无法满足理论前提，导致结果质量不可控。
7.2 计算效率：迭代次数与实际耗时
迭代次数不是唯一指标：不同迭代步的计算成本可能差异很大。例如带线搜索、二阶近似或复杂约束处理的迭代单步更昂贵。评价终止准则时，常以总耗时、单位精度成本或达到某性能目标所需的计算量作为更贴近工程的度量。
7.3 泛化到不同数据规模/模型规模的迁移规律
终止准则在规模变化后往往需要调整：数据越大、噪声越复杂、模型越深，指标噪声与收敛速度可能改变，阈值与窗口长度可能不再合适。实践中常观察迭代曲线形态并采用相对阈值、归一化度量或与学习率调度绑定的规则，以增强跨规模迁移能力。
8 参见与相关概念
8.1 收敛准则与停止规则的区别
收敛准则通常指用来判断算法是否接近收敛（或满足特定数学条件）的条件体系；停止规则更偏向工程层面的“何时停止运行”的决策规则，两者可能同源但实现与严格程度常不同。
8.2 收敛速率与停止时间的关系
在理论或经验层面，收敛速率决定了达到给定阈值所需的迭代次数，从而影响停止时间。但在噪声与非凸情形中，收敛速率可能并不单调，导致停止时间与表观改进存在偏差。
8.3 早停、正则化与模型选择的联系
早停可视为一种与正则化相关的模型选择方式：通过限制训练时间来抑制过拟合。与其他正则化手段相比，早停的效果通常依赖于验证指标、评估频率与训练动态，因而与终止准则的设计密切相关。