1 求解器容差的基本概念
1.1 容差在迭代算法中的角色
求解器容差是数值算法在迭代过程中用来衡量“已经足够接近答案”的判定尺度。迭代法通常不断更新近似解，直到满足预设的误差阈值体系为止；这个阈值体系就被称为求解器容差。容差直接决定停止时机，因此与计算成本（迭代次数）和结果质量（最终误差）紧密相关。
在工程计算中，容差并不追求“恰好等于真实解”，而是把求解误差控制在可接受范围内。由于不同问题、不同离散化方式与不同求解器实现会改变误差传播方式，容差往往需要结合缩放原则与其他终止条件共同设定。
1.2 常见度量：残差、增量与误差估计
常见的容差度量包括以下几类。
首先是残差范数。对线性方程组，残差通常表示为 \(r=b-Ax\)，并通过某种范数（如2-范数、无穷范数）衡量其大小；残差越小，意味着当前解在原方程中“越满足”。
| 其次是增量大小。增量常用来度量相邻两次迭代解之间的差异，例如 \(\|x_{k+1}-x_k\|\)。当增量足够小，通常意味着迭代过程进入平台期或收敛区间。 |
|---|
再次是相对/绝对误差估计。相对误差通常以与解规模相关的量做归一化；绝对误差则以固定标尺衡量。许多求解器还会基于更新量、预条件信息或局部线性模型给出误差估计的近似。
最后是目标函数下降量。对于最小化类或包含内层优化的算法，可能通过目标函数的减少程度、梯度范数或一致性指标来决定是否停止。此类准则在非线性与优化场景中较常见。
1.3 绝对容差与相对容差的缩放原则
数值计算中，绝对量与相对量的选择会影响容差的可迁移性。绝对容差使用固定阈值，例如要求残差范数小于某个固定数；当问题尺度很大或很小，固定阈值可能导致过度求解或提前终止。
相对容差通过引入归一化尺度来缓解这个问题。常见做法是将残差与初始残差或右端项范数进行比较，或将误差与当前解范数进行比较，从而使容差随问题规模变化。实际工程中，绝对容差与相对容差常组合使用：当解或残差规模接近零时，相对准则可能变得不稳定或过于宽松，此时绝对容差可以提供下限约束；当问题规模较大时，绝对阈值可能显得过苛刻，相对准则又能避免不必要的精细求解。
1.4 容差与数值精度（浮点误差）的关系
在浮点运算中，计算存在舍入误差与截断误差。容差不宜无限趋近于机器精度，否则迭代会在“数值噪声”主导下来回波动，停止准则可能反复触发但结果质量不再提升。
因此，求解器通常需要在“理论误差可达性”和“数值精度可实现性”之间平衡。经验上，容差的设置需要考虑：当迭代已接近浮点误差水平时，继续降低容差往往带来收益递减，甚至影响稳定性。某些实现会考虑舍入误差对残差的下界，从而自动调整容差解释或停止判定的阈值水平。
2 迭代终止准则的类型（线性／非线性）
2.1 基于残差范数的终止准则
| 基于残差范数的准则直接反映当前解满足原方程的程度。对于线性系统，残差范数可以理解为方程的不一致程度；迭代法在每一步更新 \(x_k\) 后重新计算 \(r_k\)，当 \(\|r_k\|\) 小于设定的阈值（绝对或相对意义下）时停止。 |
|---|
该准则的优点是简单直观，且与约束的可行性联系紧密。在对方程组具有良好结构的情形下，残差下降往往能反映整体求解进展。然而在病态问题或强非正规情形下，残差与真实误差之间可能出现脱钩，导致残差小并不等价于解足够准确。
2.2 基于解增量的终止准则
| 解增量准则关注迭代更新是否已经变得很小。由于迭代更新往往来自某种线性化或局部修正，当 \(\|x_{k+1}-x_k\|\) 进入很小的区间时，意味着后续修正的幅度有限。 |
|---|
该准则在某些方法中表现稳定，因为增量反映了求解器内部的“步长是否仍在有效工作”。但当算法接近停滞（例如预条件器效果减弱、迭代方向不再改善）时，增量可能先于真实残差达到阈值，从而带来提前停止的风险。因而增量型准则常与残差或其他指标联合使用。
2.3 基于相对下降或目标函数的终止准则
在目标函数存在的场景中，终止准则可能采用相对下降量，例如要求目标函数减少比例低于某阈值，或要求梯度/某种一阶或二阶度量足够小。
这种准则对非线性或优化型问题较自然，因为“改进幅度”直接对应算法努力是否仍有意义。然而目标函数可能与约束或真实物理量之间存在尺度差异，导致下降量小并不必然代表方程残差也足够小。实际使用时通常需要保证目标函数下降与可行性或残差控制之间具有一致性。
2.4 多准则组合（或条件/与条件/层级优先）
实际求解器常采用多准则组合，以提升稳健性。常见组合包括：
- “与”条件：同时满足残差阈值与增量阈值才停止，降低某一指标失真造成的误判概率；
- “或”条件：任一指标达到阈值就停止，可能减少迭代次数但可能牺牲精度一致性；
- 层级优先：通常优先满足可行性（如残差）要求，当残差已足够小，再用增量或目标下降来避免过度迭代。
组合策略还会受到计算成本与指标准确性的影响。例如残差计算可能更昂贵（需额外的矩阵-向量乘），增量则可通过已算信息直接得到。层级优先允许在不同成本之间做折中。
3 线性迭代：容差对误差的影响机制
3.1 残差与解误差的关联（直观与定性）
在线性方程组 \(Ax=b\) 中，残差 \(r=b-Ax\) 描述了当前近似解在方程层面的偏离。残差变小往往意味着 \(Ax\) 更接近 \(b\)，因此解也更接近真实解。更精确地说，误差与残差之间可以通过问题的条件数与谱性质相关联：如果问题“容易”，残差的下降更可能对应误差的下降；若问题“困难”（例如病态或强非正规），残差的小幅下降可能对应有限的误差改善。
直观上，可以把残差视为“在量纲相同的空间里衡量不一致”，而误差则是“在解空间中衡量离真值的距离”。两者之间的映射取决于算子 \(A\) 的几何与尺度。
3.2 收敛速率与容差触发时刻
线性迭代往往具有可预测的收敛形态。例如某些迭代法的误差或残差随迭代呈指数衰减；在这种情况下，容差阈值越严格，触发停止的迭代次数越大。触发时刻决定了误差仍剩余多少，因此容差的设定本质上把“停止预算”分配给迭代步数。
若收敛曲线存在多阶段行为（先快后慢或局部平台），则容差可能落在不同阶段，从而对迭代次数与最终误差产生非线性影响。工程中通过观察残差曲线的形状来判断合适的容差，通常比单看经验阈值更有效。
3.3 预条件器对“同样容差”的放大/缩小效应
预条件器改变的是迭代在等效空间中的收敛特性。对于同样的停止阈值（例如残差范数相对比例相同），不同预条件器会使残差下降速度与“残差所对应的真实误差比例”发生变化。
更具体地说，预条件器通常改善矩阵在迭代过程中的谱分布或减少不良尺度耦合，从而让某个残差水平对应的误差水平更理想。相反，若预条件器质量较差或与问题结构不匹配，可能出现残差下降但误差改善有限，或残差难以继续下降的情况。
因此，在调参时不能把容差与预条件器视为完全独立变量。容差与预条件器需要共同考虑，尤其当目标是控制最终物理量误差而非仅控制残差。
3.4 特征值/谱性质引起的误差表现差异
线性迭代的误差衰减与谱性质相关。不同的特征值分布会影响收敛速度，也会影响残差与误差的映射关系。例如：
- 当与迭代相关的主导谱区间较“窄”或分布良好时，误差衰减与残差衰减更一致；
- 当存在不良特征值（如聚集在不利位置）或非正规性较强时，可能出现“残差看起来下降但误差改善不理想”的现象。
在此背景下，容差触发的“误差水平”可能因问题谱结构而差异显著。对某些问题，严格的容差也许并不能带来线性比例的精度提升，因为瓶颈并不在停止准则，而在算子结构与迭代可达性。
3.5 何时“残差小但解不够准”：常见原因梳理
残差小但解误差仍偏大在实践中并不少见，常见原因包括：
- 病态性或条件数高：残差到误差的放大因素较大，使得残差下降并不能充分压低解误差。
- 残差范数选择不匹配：使用的范数或归一化方式与真实误差关注点差异较大，导致“指标正确但误差不对应”。
- 预条件器与停止准则脱节：预条件器改善了某种等效量的收敛，但原空间中的误差映射仍不充分。
- 舍入误差主导：迭代已进入浮点噪声区，残差难以下降或下降速度与误差无关，从而出现“看似收敛、实则受限”。
- 离散化误差占主导：即使线性求解足够精确，整体误差仍可能由离散化（网格、时间步长）带来，此时继续减小容差的边际收益很低。
这些因素共同说明：容差并非孤立参数，必须在“指标—误差—模型误差”的框架下理解。
4 非线性迭代：容差对误差的影响机制
4.1 非线性残差与真实误差的耦合特点
非线性问题中，残差往往来自非线性方程 \(F(x)=0\)。停止时残差很小意味着 \(F(x)\) 接近零，但真实解误差与残差之间不再像线性情形那样简单。原因在于：非线性函数在不同区域的局部几何性质不同，残差与解误差之间的局部比例可能随迭代点变化。
因此，非线性迭代里同一个“残差阈值”对应的实际误差水平可能波动更大。局部曲率、非光滑性或多解结构都会改变残差解释方式。
4.2 局部线性化误差与终止准则的匹配问题
许多非线性求解方法（如牛顿类）在每一步引入局部线性化模型。即便线性化子问题求解得足够精确，若线性化本身与真实非线性行为偏差较大，那么停止准则可能在“线性模型已经满意但非线性总体仍未到位”时触发。
这会导致：容差设得很严也未必提升非线性层面的精度；反之，当容差偏松时，线性化步骤可能仍能“看起来合适”，但会放大到下一轮非线性更新，最终影响收敛质量。匹配问题强调：非线性容差不仅是线性子求解精度的下限，更与线性化适用性相关。
4.3 牛顿类方法：容差对收敛区与二次/超线性阶段的影响
牛顿类方法通常在充分接近真实解时呈现二次或超线性收敛特征。容差的作用体现在两个方面：
- 何时进入收敛区：若终止过早，可能在尚未进入二次收敛所需的区域时停止，从而错过快速收敛阶段；
- 每步线性子问题求解的精度：若内层线性求解不够精确，会破坏牛顿方法的理论收敛阶，使二次收敛退化为较慢的速度。
因此，非线性牛顿类问题中，“外层容差”和“内层线性求解容差”常需要联动设定。过于宽松的线性子求解精度可能让表面上残差下降不够快，或者出现收敛阶退化。
4.4 线性化迭代（嵌套求解）与容差耦合
许多非线性求解器会在每次非线性迭代中调用线性迭代器求解雅可比相关的线性系统（或近似系统）。这形成“嵌套”结构：外层非线性容差控制整体停止，而内层线性容差影响每步修正的质量。
耦合的关键在于：外层需要的线性解精度通常与当前迭代处于的阶段有关。接近解时需要更高精度以维持理想收敛性质；远离解时则可以允许较低精度避免不必要的开销。若只设置固定的内外容差，容易出现“花了太多时间在不关键阶段”或“关键阶段精度不足导致收敛被拖慢”。
4.5 非光滑或病态问题：容差导致的“看似收敛”现象
在非光滑或病态问题中，迭代可能出现残差指标下降、但解质量未得到相应改善的现象。常见情形包括：
- 非光滑点附近：局部线性模型不再准确，迭代可能围绕某个“局部平衡”徘徊；
- 多解或近似重根：残差可在多个点附近较小，停止准则可能选到并非关注的解；
- 病态雅可比或强尺度差异：残差范数对解误差不敏感，导致“看起来收敛”但实际偏差仍在。
此类情形下，单一容差指标往往不足，需要结合额外度量（如增量、目标下降、物理约束残差或评估量的稳定性）才能更可靠地判断结果质量。
5 终止准则与误差来源的分离：离散误差、迭代误差与舍入误差
5.1 迭代误差在总误差预算中的定位
实际数值计算的总误差通常包含多个部分：模型与离散化误差（由网格、时间步长、离散格式带来）、迭代算法误差（由停止准则导致）、以及浮点舍入与舍入误差放大等数值误差。迭代误差只是其中一项。
将误差预算拆分的意义在于：当离散误差已经占主导时，即使把迭代误差压得很低，整体精度也不会明显提升。反之，当迭代误差占主导时，增加迭代精度会直接改善最终结果。因此，合理容差本质上是把计算资源投向对总误差最敏感的部分。
5.2 离散误差主导时的容差策略
当离散误差主导时，过于严格的容差会带来浪费。策略上通常是选择一个“足够小”的迭代容差，使迭代误差低到不超过（或明显小于）离散误差的量级。这样可以避免迭代器反复追求比离散化误差更难以体现的改进。
在实践中，可以通过网格加密或时间步细化的实验观察总体误差变化趋势：如果整体误差随离散化变化显著，而对容差变化不敏感，说明迭代容差已经低到足够位置。反过来若改变容差会显著影响结果，迭代误差才是瓶颈。
5.3 舍入误差下的容差下限与停止准则调整
当迭代误差被压低，舍入误差可能成为新的限制。此时继续降低容差可能导致计算不稳定、迭代次数无意义增加，甚至在某些实现中引发数值噪声主导的指标波动。
因此，停止准则需要考虑舍入误差下界。例如，通常不会要求残差下降到远低于浮点误差水平；同时，可能对绝对/相对阈值的组合方式进行约束，使得当解或残差规模过小时不会因为归一化导致阈值过度苛刻。
5.4 误差预算框架（定性到可操作的思路）
可操作的思路通常包括以下步骤：
- 确定关注误差：是方程残差、某个物理量误差，还是全局范数意义下的误差？
- 识别主导来源：通过网格/步长与容差的敏感性实验判断离散误差与迭代误差的相对比重。
- 设定迭代误差上限：令迭代误差量级低于离散误差量级，作为容差选择的目标。
- 考虑数值精度下限：避免把容差设到不可达或会激发舍入误差主导的水平。
- 采用多指标交叉验证：例如残差与增量并用，必要时加入可行性或目标函数下降等检查，降低误判。
这样的框架把“调参”从纯经验提升为基于误差结构的决策过程。
6 容差选择与工程实践
6.1 经验规则与默认策略的适用边界
许多求解器提供默认容差，例如在残差相对比例或绝对阈值上采取通用值。默认策略在结构良好、问题规模适中、且目标误差不极端苛刻时通常有效。
但经验规则存在边界：当问题尺度差异很大、预条件器不匹配、或对特定物理量需要极高精度时，默认值可能过松或过紧。工程上应把默认值视为起点，再根据残差曲线形状、增量行为与结果敏感性进行调整。
6.2 不同问题规模下的容差设置建议
问题规模可体现在未知量数量、右端项尺度、以及矩阵谱特性。一般而言：
- 当问题方程组规模增大，残差范数的计算方式与范数选择会更影响阈值解释，需注意绝对/相对组合；
- 当右端项或解的尺度很大，单纯绝对阈值可能导致无谓迭代，应采用相对归一化；
- 当解或残差接近零，过度依赖相对阈值可能失真，绝对容差作为下限更稳妥。
因此，容差常被设为“绝对阈值 + 相对阈值”共同约束，便于覆盖不同尺度区间。
6.3 线性/非线性混合流程中的容差分配
混合流程指外层非线性迭代内部反复调用线性求解器。常见实践是把内层线性容差与外层迭代阶段联动：在外层尚未接近解时，内层不必过度精细；当外层逐渐靠近目标时，再逐步提高内层精度以避免破坏收敛性质。
这种分配本质上是计算资源调度：把大量精度计算留给真正需要的迭代阶段，减少“为中间不关键步骤付费过高精度”的情况。
6.4 自适应容差：根据迭代状态动态调整
自适应容差根据迭代状态动态调整阈值，例如基于当前残差下降趋势、增量大小、或外层误差估计自动放松/收紧。其目标是减少两类浪费：一类是停止过晚导致的冗余迭代；另一类是停止过早导致的迭代质量不足，从而需要更多外层修正或触发回退策略。
自适应方法的前提是：迭代指标能够可靠反映进展，并且算法实现中避免指标噪声导致频繁阈值跳变。工程中通常会加入上限与下限，确保阈值变化不会过激。
6.5 日志与监控：如何判断“停得太早/太晚”
求解器日志通常包含每步残差、增量、迭代次数以及可能的收敛原因。判断“停得太早/太晚”可从以下角度入手：
- 残差曲线是否仍在明显下降：若满足停止条件但曲线仍呈稳定下降趋势，可能停得偏早；
- 增量已进入噪声区：若增量波动但仍满足指标，可能已经接近舍入误差极限，继续精细化可能收益不大；
- 结果对容差是否敏感：通过轻微收紧/放松容差并对关键输出变量比较，可验证迭代误差是否仍在主导；
- 内外层指标一致性：非线性问题中，外层残差是否与内层线性求解精度相匹配，决定收敛是否可靠。
监控的目的是把“停止判定”从黑箱变为可解释的工程诊断流程。
7 常见故障与调参排查
7.1 终止过早：症状与诊断
终止过早的常见症状包括：残差刚到阈值便停止、结果质量与预期不符、或进一步细化离散化后总体误差并未按理论趋势表现。
诊断时可检查：收敛曲线是否仍在下降；增量指标是否已经变得不稳定但被“或条件”提前触发；内层线性求解是否过于宽松导致外层无法进入理想收敛区。若改变容差后迭代次数变化不大但输出明显改善，通常说明原先容差确实偏松。
7.2 终止过晚：症状与诊断
终止过晚通常表现为：残差已进入缓慢下降或平台期，迭代次数显著增加但输出改善很小。若将容差放宽适当幅度，仍能得到几乎相同的最终结果，则说明迭代精度已超过必要水平。
此类问题的根源常见于：目标精度实际上由离散误差或舍入误差主导，却仍追求过低的迭代误差；或终止准则使用了过于严格的相对阈值组合，导致迭代在数值噪声区继续消耗算力。
7.3 容差与迭代震荡/停滞的关系
震荡或停滞可能与容差设定方式有关，但也可能源自预条件器、离散化或模型结构。若容差过紧，迭代可能在浮点噪声水平附近来回摆动，使残差或增量指标难以稳定满足收敛条件。相反，若容差过松，则迭代可能在某个局部不动点附近提前停止，导致结果仍偏差较大。
诊断时应结合：迭代指标的趋势（单调下降还是震荡）、收敛失败信息（如最大迭代次数耗尽）、以及是否对预条件器或松弛参数做了合适调整。
7.4 预条件器失效时的表现
预条件器失效常见表现为：残差下降明显变慢、等效迭代曲线缺乏预期斜率，或在某些阶段突然停滞。即使将容差放宽，仍可能难以获得满意的误差改善，因为瓶颈并不在停止阈值，而在预条件器对谱分布或尺度耦合的改善能力不足。
排查通常包括：检查预条件器构造是否符合矩阵结构（例如对称性、尺度）；确认预条件器是否在非线性迭代中更新策略正确；必要时更换预条件器或调整其参数，再评估容差是否仍需调整。
7.5 “收敛指标漂亮但结果不对”的排查路径
当日志显示残差或目标下降看似正常，但最终结果与期望不符，排查可从以下方向进行：
- 指标是否衡量了正确量：残差范数是否对应所关注的物理量或约束？
- 尺度与归一化是否合适：相对/绝对阈值的缩放可能导致“看起来小但实际大”。
- 离散误差主导：如果离散化误差很大，迭代误差再小也无法修正。
- 边界或约束处理问题：约束满足性可能并未被残差指标直接反映，需要检查可行性相关度量。
- 非线性问题的局部收敛到错误分支：停止条件可能允许收敛到非目标解或局部驻点附近。
通过对关键输出进行敏感性检验（容差轻微变化、网格细化、不同初值对比）通常能快速定位根因。
8 相关概念与参见
8.1 收敛判据、停止准则与收敛性分析的区别
收敛判据通常是算法内部用来判断是否满足某种收敛条件的规则；停止准则是工程层面决定何时终止迭代的具体实现方式；收敛性分析则关注理论上迭代在何种条件下会收敛、收敛速度如何。三者相互关联但侧重点不同：判据/准则偏实现细节，分析偏数学保障。
8.2 误差范数选择（L2、L∞、加权范数等）
范数选择影响指标对不同误差分量的敏感度。\(L2\)范数通常强调整体能量意义，\(L^\infty\)范数关注最大分量的控制，若采用加权范数则可反映不同变量或空间位置的重要性差异。不同范数对应不同“容差含义”，因此同一数值阈值在不同范数下并不等价。
8.3 容差与容许残差（feasibility）在约束问题中的联系
在含约束的系统中，除了满足方程残差外，还需控制可行性（约束残差或违反量）。容许残差强调的是“满足约束的允许偏差”。当约束与方程强耦合时，仅控制方程残差而忽视可行性，可能导致解在约束上偏离较大；反之只控制可行性也可能使方程一致性不足。
8.4 进阶主题：容差与自适应精度控制（思路概览）
进阶主题通常把容差视为精度控制策略的一部分。除停止阈值外，还会涉及求解器在迭代过程中对算子精度、线性化精度或离散精度的协同调节。其核心思想是：精度并非一开始就需要最大化，而是随迭代阶段逐步提升，以在保证收敛与最终精度的前提下降低计算成本。