1 可行性残差的定义与直观
1.1 约束系统与“可行”的含义
在数值求解优化问题或约束方程系统时，“可行”（feasible）通常指某个候选解同时满足问题给定的约束条件。约束可能以等式形式出现，也可能以不等式形式出现，此外还可能由集合、边界或其他几何条件表达。可行性残差用来量化候选解偏离这些要求的程度：残差越小，说明当前迭代点在约束满足方面越接近“真正可行”。
在迭代算法中，即使目标函数改善了，也未必意味着约束得到满足；可行性残差正是用来回答“当前解是否真的落在可行域附近”的问题。
1.2 残差的数学对象：函数值、违规量与范数
可行性残差通常从“约束函数在当前点的取值”出发构造。常见做法包括：
| - 等式约束：对约束函数的绝对值或其范数度量偏离（例如 \(\|h(x)\|\)）。 |
|---|
- 不等式约束：对违反部分进行度量，常见是对违反的分量取正部（例如 \(\max(0,g(x))\)）再聚合。
- 集合/边界约束：用候选点到可行集合的距离或投影相关量度量偏离。
由于约束可能是向量形式，残差往往需要把多个分量合成为一个标量指标，这时就引入不同的范数（L1、L2、L∞ 等）来汇总违规程度。
1.3 与最优性残差的区分
可行性残差关注的是约束是否被满足，而最优性残差（或目标残差/最优性指标）关注的是目标函数在当前点是否接近最优。两者可能同时变小，也可能出现“一个变好另一个不变”的情况：
- 约束满足但目标还未收敛：可行性残差小，最优性残差大。
- 目标指标改善但约束尚未达到：可行性残差大，最优性残差逐步下降。
因此在实际算法中往往需要把两类残差分开监控，避免误判迭代状态。
2 形式化表述（通用优化框架）
考虑一般约束优化框架：在变量 \(x\) 上满足
- 等式约束 \(h(x)=0\)
- 不等式约束 \(g(x)\le 0\)
- 以及可能的集合约束 \(x\in\mathcal{C}\)（或边界条件）
可行性残差就是把上述约束“偏离零或偏离可行集”的量进行度量。
2.1 等式约束下的可行性残差
2.1.1 基于范数的定义
对等式约束 \(h(x)=0\)，可行性残差常定义为 \[
| r_{\mathrm{eq}}(x)=\|h(x)\| |
|---|
\]
| 其中 \(\|\cdot\|\) 为某种范数，如欧氏范数（L2）或最大范数（L∞）。该定义的直观含义是：约束函数向量的整体偏离幅度越大，残差越大。 |
|---|
| 若 \(h(x)\) 是标量，则退化为 \( | h(x) | \)。 |
|---|
2.1.2 基于逐分量偏差的定义
| 当希望更细致地区分不同分量的违规程度时，也可用逐分量偏差构造指标。例如对 \(h(x)\in\mathbb{R}^m\)，可以分别计算 \( | h_i(x) | \) 并再聚合： |
|---|---|---|
| - 使用最大值：\(\max_i | h_i(x) | \)（强调最坏分量） |
| - 使用求和：\(\sum_i | h_i(x) | \)（强调整体偏差） |
这类定义与范数度量本质相关，只是聚合方式的侧重点不同。
2.2 不等式约束下的可行性残差
2.2.1 违反程度的截断/正部（hinge-like）形式
对不等式约束 \(g(x)\le 0\)，只有违反的部分才应计入残差。常用的正部算子给出“截断”效果： \[
| r_{\mathrm{ineq}}(x)=\| \max(0,g(x))\| |
|---|
\] 其中 \(\max(0,g(x))\) 对每个分量取正部：当 \(g_i(x)\le 0\) 时贡献为 0；当 \(g_i(x)>0\) 时贡献为 \(g_i(x)\)。这种形式类似常见的“铰链损失”（hinge-like）结构。
2.2.2 分量累积与范数度量
将违规量从逐分量形式聚合为标量时，依然要选择范数或聚合函数。例如：
- L1：\(\sum_i \max(0,g_i(x))\)（整体违规量）
- L2：\(\sqrt{\sum_i \max(0,g_i(x))^2}\)（对大违规更敏感）
- L∞：\(\max_i \max(0,g_i(x))\)（最严重违规）
选择不同聚合方式会影响算法对“个别极端违规”与“多数轻微违规”的敏感度。
2.3 边界/集合约束的可行性残差
2.3.1 投影距离与可行性指标
当约束以集合形式给出（例如 \(x\in\mathcal{C}\)），可行性残差可使用到该集合的距离。例如使用欧氏距离： \[
| r_{\mathrm{set}}(x)=\mathrm{dist}(x,\mathcal{C})=\inf_{y\in\mathcal{C}}\|x-y\| |
|---|
\] 若 \(\mathcal{C}\) 有良好投影性质，还可利用投影点 \(P_{\mathcal{C}}(x)\) 写成 \[
| r_{\mathrm{set}}(x)=\|x-P_{\mathcal{C}}(x)\| |
|---|
\] 这种构造把“偏离可行集”直接量化成几何距离，便于解释。
2.3.2 距离型残差的直观解释
距离型残差的直观性来自于其度量对象是“真实空间中的远近”。当点离可行边界越远时，残差越大；如果点已落入可行集合内，距离为零（或在数值容差下极小）。对于需要几何可行性的场景，这类指标通常更直观。
3 常见计算方式与实现要点
3.1 残差的数值评估（范数选择）
3.1.1 L1、L2、L∞ 等范数对比
不同范数会改变残差的统计特性：
- L1：对多个中等大小的违规较敏感，整体性较强，数值变化相对平滑。
- L2：对较大违规分量惩罚更重，常用于强调“大的偏离不应被忽略”。
- L∞：聚焦最坏分量，适合需要保证所有约束分量都不太被破坏的场景。
因此，范数选择不仅是实现细节，也会影响算法停止策略的行为。
3.1.2 标度与单位一致性
约束函数可能具有不同量纲或尺度。例如某些约束对应“米”的误差，另一些对应“弧度”的误差。若直接对原始残差聚合，较大量纲的约束可能主导指标，导致“看起来残差不小其实只是尺度问题”。实际实现中常需要对约束进行标度（如除以典型尺度、变量缩放或使用加权范数）以获得可比的残差量。
3.2 工程中的“容忍度”与阈值
3.2.1 绝对容差与相对容差
由于数值计算存在误差与尺度差异，停止准则通常不会要求残差精确为零，而是使用阈值。例如常见组合形式：
- 绝对容差：\(r(x)\le \varepsilon_{\mathrm{abs}}\)
| - 相对容差：\(r(x)\le \varepsilon_{\mathrm{rel}}\cdot s\)，其中 \(s\) 为尺度参考（如 \(\|h(x_0)\|\) 或问题中的典型量） |
|---|
绝对容差适用于残差目标本身的量级已知；相对容差适用于问题尺度可能变化的情形。
3.2.2 迭代停止准则中的组合策略
实际算法中常把可行性残差与最优性残差共同考虑。例如：
- 以“可行性优先”为主：先确保约束足够小，再追求目标改进；
- 或采用联合条件：当二者都低于阈值才停止；
- 也可能采用分阶段策略：先降低可行性残差，再在可行近似下优化目标。
这些策略的选择影响迭代效率与输出解的质量。
3.3 稳健性：舍入误差与病态情形
3.3.1 浮点误差对残差的影响
残差计算往往涉及矩阵运算、函数评估与范数计算。浮点舍入误差会让残差在接近阈值时出现波动，尤其在病态问题或高条件数系统中更明显。此时阈值设置与统计策略（例如使用滑动平均、要求连续满足若干次）可以减少误判。
3.3.2 约束缩放与正则化的作用
病态情形常导致约束函数对 \(x\) 的敏感度极高。通过对约束进行缩放、对变量做适当归一化，或在算法中引入正则项（取决于具体方法）可以改善残差与真实可行性的关联，使得残差指标不至于被数值噪声主导。
4 在算法中的用途
4.1 停止条件与收敛判据
4.1.1 可行性优先的停止策略
在某些约束严格或必须先保证可行的应用中，算法可能以可行性残差为主要停止依据。例如当残差进入预设容差后，即使目标函数仍有下降空间也可能停止，避免在“已可用”的解附近反复计算。
这种策略常见于需要输出满足约束的方案（例如约束回归的可行预测、某些工程约束校验）时。
4.1.2 可行性与最优性联动的判据
更常见的做法是同时监控可行性与最优性指标。当两者都达到阈值，说明既接近约束可行，也接近局部最优（或满足相应的必要/充分条件的数值近似）。联动策略可以降低“约束满足但仍远离最优”以及“目标很好但不可行”的风险。
4.2 诊断工具与问题定位
4.2.1 区分“约束难以满足”与“只是未收敛”
当可行性残差长期不下降或波动很大，可以怀疑以下原因：
- 可行域可能很小、约束组合导致难以同时满足；
- 初始点距离可行集较远，且算法的可行性修复能力不足；
- 甚至可能存在建模层面的错误，使约束在数值上难以满足。
与此同时，如果最优性残差下降而可行性残差不动，往往表明迭代更关注目标而忽略约束；反过来也可能出现。通过两类残差的相对变化趋势，能够更快判断问题出在“约束还是优化方向”。
4.2.2 观察残差曲线的经验解读
在迭代过程中绘制可行性残差随迭代步变化的曲线，常见经验包括：
这些观察属于工程诊断层面的经验，用于辅助选择参数与改进建模。
4.3 作为惩罚项或增广拉格朗日机制的组成
4.3.1 惩罚参数与残差之间的权衡
在惩罚法中，算法通过把约束违反量加入目标函数来“拉回”可行域。可行性残差（或其函数）常直接出现在惩罚项中，例如罚函数随违规量增大而增长。惩罚参数越大，约束满足倾向越强，但可能导致优化更不稳定或计算更困难。因此通常需要在“可行性提升”和“数值可优化性”之间折中。
4.3.2 增广项对可行性残差的驱动效应
增广拉格朗日类方法在惩罚项之外还引入额外结构（例如带有乘子或二次项的组合），从而增强对约束的驱动效应。此时可行性残差的变化往往反映增广项是否有效：若残差快速下降，说明约束修复机制起作用；若不下降或明显停滞，可能表明增广项权重与问题尺度不匹配，或乘子更新策略需要调整。
5 示例与典型场景（概念性）
5.1 线性方程组的可行性残差
5.1.1 轴向一致性与误差解释
求解线性方程组 \(Ax=b\) 可看作满足等式约束 \(Ax-b=0\)。此时可行性残差常写为 \[
| r(x)=\|Ax-b\| |
|---|
\] 其含义是：用候选解 \(x\) 代入后，左边与右边差了多少。若残差趋近于零，则说明得到的 \(x\) 在代数上与原方程近似一致。
5.2 约束最小化中的可行性残差
5.2.1 等式+不等式组合示意
考虑包含等式 \(h(x)=0\) 与不等式 \(g(x)\le 0\) 的问题。可行性残差可以组合为 \[
| r(x)=\|h(x)\|+\|\max(0,g(x))\| |
|---|
\] 这种形式体现了“等式偏离”和“不等式违规”的共同度量。需要注意的是，当不等式约束规模很大或权重不合理时，该组合的数值表现可能偏向某一类约束，因此通常要配合尺度与加权策略。
5.3 约束回归或数据拟合的可行性评估
5.3.1 约束未满足对模型含义的影响
在约束回归中，模型参数需要满足某些结构性约束（如单调性、边界条件、线性约束等）。可行性残差用于判断这些结构是否真正被遵守。若残差较大，模型虽然可能在数据拟合误差上看起来不错，但其“可解释或可用性”的约束语义可能被破坏，例如预测可能越界或违反应有的结构规律。
6 相关概念与对照
6.1 约束违反（constraint violation）与可行性残差的关系
“约束违反”通常是描述某条约束被破坏的程度或是否为正的量；可行性残差则是把这些违反量进一步聚合成指标。二者关系上，可行性残差可视为约束违反的度量形式之一，特别是在把违规量取正部并组合范数时，两者几乎等价于“违反的大小”。
6.2 约束残差、KKT 相关量与可行性视角
KKT 条件包含可行性（原问题约束的满足）以及最优性相关的梯度与乘子条件。可行性残差对应的是 KKT 中“可行性部分”的数值近似；而与其关联的其他量（如互补松弛、梯度平衡）更偏向最优性评价。把这些量区分开有助于判断迭代停滞时到底是“约束修复失败”还是“最优性无法进一步改进”。
6.3 投影误差与可行性指标的相互联系
当算法包含投影或可行化步骤时，投影误差与可行性残差往往存在联系。例如对集合约束，可行性残差可直接定义为到集合的距离，因此与投影误差几乎同义。对包含不等式的可行化操作，也常见把违规量通过投影映射或近似投影消除，从而使残差显著下降。
7 误读与常见“吐槽式”误区
7.1 把小残差误当作“已完全正确”
残差很小意味着约束在数值上接近满足，但仍可能存在以下情况：模型假设偏离、约束函数计算受舍入影响、阈值设置过松或标度不合理。把“小残差”直接等同于“完全正确”容易掉进“形式上过关、语义上翻车”的坑。
7.2 阈值设置过松导致“形式上可行、实则翻车”
如果容差设置得较大，算法可能在残差尚未足够小的情况下就停止，使得输出虽被判定“可行”，但实际工程精度或业务要求仍未达标。对于对约束敏感的系统，这种误差可能被放大，从而造成不可预期的后果。
7.3 忽视约束缩放导致残差对比失真
当不同约束具有不同量纲或尺度，直接比较残差大小可能得出错误结论：某条约束残差看似小，可能只是它的量纲较小；另一条残差看似大，可能只是它的尺度天然更大。忽视缩放与权重会让判断“哪些约束在拖后腿”变得不可靠。