1 基本概念
1.1 定义
正规方程通常指由原问题经过代数变形后得到的一类等价方程，用来刻画未知量满足的必要条件或最优条件。在最小二乘问题中，它是使误差平方和取最小值时必须满足的线性方程组；在更广义的语境里，也可指偏微分方程、优化问题或其他模型中经整理后得到的标准方程形式。
1.2 术语来源
“正规”一词在不同学科中含义并不完全相同。在线性代数与最小二乘语境里，它强调方程是由原问题“规范化”得到的标准形式；在几何与分析中，也常用来表示由正交、法向量或正交条件导出的关系。因此，该术语更多是对方程来源与用途的概括，而非单一固定公式的专名。
1.3 适用语境
正规方程常见于需要将原始问题转化为可计算形式的场景。其典型特点是：通过对目标函数求导、对残差施加正交条件，或通过引入伴随算子把原问题变成更易处理的线性系统。
1.3.1 线性代数中的正规方程
在线性代数中，正规方程最常见的形式来自最小二乘法，即将超定线性系统转化为关于参数的对称线性方程组。此时它通常写作 \(A^\top A x = A^\top b\)，用于求取最佳近似解。
1.3.2 统计学中的正规方程
在统计学中，正规方程常用于线性回归与参数估计。它对应于极小化残差平方和后得到的估计方程，是经典回归分析中最基础的求解工具之一。
1.3.3 优化问题中的正规方程
在优化理论中，正规方程可以视为一阶最优性条件的一种表现。对于二次型目标、约束最小化或某些变分问题，求导后得到的等式常被归入这一范畴。
2 数学背景
2.1 线性方程组
正规方程与线性方程组密切相关。若原始系统方程数多于未知数，往往不存在精确解，此时通过最小化残差可以将其转化为一个新的线性系统，从而寻找最优近似解。
2.2 向量空间与内积
正规方程的成立依赖于向量空间中的内积结构。残差向量与列空间之间的正交关系，是从几何角度理解最小二乘法的核心。内积不仅提供长度与角度的概念，也为“最优”赋予了明确的度量标准。
2.3 矩阵表示
正规方程常用矩阵形式书写，便于统一处理多个未知量与多个观测值。矩阵表达不仅简洁，而且有助于分析解的存在性、唯一性和数值稳定性。
2.3.1 转置矩阵
转置矩阵是正规方程中最常见的操作之一。通过将设计矩阵转置并与原矩阵相乘，可得到对称的系数矩阵，这一步也是从残差正交条件推导正规方程的关键环节。
2.3.2 对称半正定矩阵
在最小二乘中，矩阵 \(A^\top A\) 通常是对称半正定矩阵。它的这一性质保证了目标函数的凸性，并说明正规方程对应的问题具有良好的结构，但也可能因秩亏而失去唯一解。
2.3.3 秩与可解性
矩阵的秩决定了正规方程是否存在唯一解。若设计矩阵满列秩，则系数矩阵可逆，解通常唯一；若秩不足，则会出现多个解或需要借助伪逆与正则化方法处理。
3 最小二乘法中的正规方程
3.1 问题设定
最小二乘法的基本任务，是在给定观测数据时寻找参数，使模型预测值与观测值之间的偏差总体最小。若模型为线性形式，则可将问题写成矩阵方程 \(Ax \approx b\)，其中 \(x\) 为待估参数，\(A\) 为设计矩阵，\(b\) 为观测向量。
3.2 从误差平方和推导
| 设残差为 \(r = Ax - b\)，则误差平方和可写为 \(\|Ax - b\|^2\)。对该函数关于参数求导并令梯度为零，可得到 \(A^\top(Ax-b)=0\)，即正规方程。这表明最优解对应于残差对参数变化的一阶敏感性消失。 |
|---|
3.3 正规方程的标准形式
最小二乘问题的标准正规方程写作： \[ A^\top A x = A^\top b \] 它将原本可能不相容的超定系统转化为一个方阵线性系统，便于分析与求解。
3.3.1 一元线性回归
在一元线性回归中，模型常写为 \(y=\beta_0+\beta_1 x\)。将观测数据代入后，通过最小化误差平方和可以得到关于截距和斜率的两元正规方程，最终求出直线的最佳拟合参数。
3.3.2 多元线性回归
多元线性回归将多个自变量纳入同一模型。对应的正规方程仍保持矩阵形式，只是设计矩阵包含更多列，代表不同解释变量。其解给出在平方误差意义下的最优线性拟合。
3.3.3 带截距项的模型
若模型包含截距项，设计矩阵通常在首列加入全 1 向量。这样可以同时估计常数项与斜率项，使模型能够整体平移，更符合实际数据的分布特征。
3.4 几何解释
正规方程不仅是代数关系，也有明确的几何含义。它描述了最优近似解与原数据空间之间的投影关系。
3.4.1 投影到列空间
最小二乘解对应于将向量 \(b\) 正交投影到矩阵 \(A\) 的列空间上。投影点就是所有线性组合中距离 \(b\) 最近的向量，因此与原问题的偏差最小。
3.4.2 残差正交性
正规方程等价于残差与列空间正交，即 \(A^\top r=0\)。这意味着残差不再包含任何可以被列空间解释的分量，因此已经达到最优逼近状态。
3.4.3 误差最小化条件
从优化角度看，正规方程表达的是误差平方和达到极小值时的一阶必要条件。若目标函数是凸的，则该条件通常也是充分条件，从而保证所求解具有全局最优性。
4 线性代数性质
4.1 存在性与唯一性
正规方程是否有解、解是否唯一，取决于系数矩阵的结构。对于满列秩的设计矩阵，最小二乘解存在且唯一；若矩阵退化，则可能存在无穷多个解，或者需要在解集中选取规范解。
4.2 可逆条件
当 \(A^\top A\) 可逆时，正规方程可直接写成 \[ x=(A^\top A)^{-1}A^\top b \] 此时解的表达式清晰且便于理论分析。可逆性一般等价于 \(A\) 的列向量线性无关。
4.3 退化情形
4.3.1 设计矩阵不满秩
若设计矩阵列向量存在线性相关，则 \(A^\top A\) 变为奇异矩阵，正规方程不再有唯一解。这在实际建模中较常见，尤其当变量之间存在重复或冗余信息时。
4.3.2 多重共线性
多重共线性是指多个自变量之间高度相关甚至近乎线性依赖。它会使正规方程数值上不稳定，导致参数估计对微小扰动非常敏感。
4.3.3 伪逆解法
在秩亏或不适定情形下，可使用 Moore-Penrose 伪逆求取最小范数解。该方法在保持解的规范性方面具有优势，也常作为正规方程的替代方案。
4.4 与特征值的关系
正规方程中的 \(A^\top A\) 的特征值与 \(A\) 的奇异值密切相关。其非零特征值反映了问题的主要方向强度，而接近零的特征值则意味着病态与不稳定风险增加。
5 数值求解方法
5.1 直接求解
对于规模较小、条件良好的问题，正规方程可采用直接法求解。这类方法实现简单，计算流程清楚，常用于基础应用与教学演示。
5.1.1 高斯消元
高斯消元可以直接处理正规方程形成的线性系统。尽管步骤明确，但在大规模或病态情况下，消元过程可能放大误差，因此并非始终最优。
5.1.2 Cholesky 分解
由于 \(A^\top A\) 通常为对称正定或半正定矩阵，可在适当条件下使用 Cholesky 分解。它比一般消元更高效，也更适合利用矩阵的结构特征。
5.2 迭代方法
当变量规模较大时，迭代法往往比直接法更具优势。它们不必显式形成完整逆矩阵，适合处理稀疏系统和大数据问题。
5.2.1 共轭梯度法
共轭梯度法适用于对称正定系统，常用于求解正规方程。该方法通过逐步构造互相共轭的搜索方向，通常能在较少迭代内获得较高精度。
5.2.2 梯度下降法
梯度下降法直接沿目标函数下降方向更新参数。虽然收敛速度通常不如共轭梯度法快，但实现简便，适合用于基本优化框架或作为更复杂算法的基础。
5.3 稳定性问题
正规方程在数值计算中并不总是首选，原因在于它可能削弱原问题的稳定性。特别是当矩阵条件较差时，误差会在运算过程中被放大。
5.3.1 病态矩阵
病态矩阵对应的系统对输入扰动极为敏感。对于此类问题，直接求正规方程可能导致结果偏差明显，因此常需改用更稳健的分解方法。
5.3.2 舍入误差
有限精度计算会引入舍入误差，而在形成 \(A^\top A\) 的过程中，误差可能进一步积累。尤其当原矩阵列之间接近线性相关时，问题更为突出。
5.3.3 条件数分析
条件数用于衡量线性系统对扰动的敏感程度。正规方程的条件数通常与原矩阵条件数的平方同量级，因此虽然形式简洁，但数值稳定性可能显著变差。
6 应用
6.1 统计建模
正规方程是许多统计模型的基础，尤其适合用于线性结构的参数估计与拟合分析。它提供了一种从数据中提取关系的标准路径。
6.1.1 线性回归
在线性回归中，正规方程用于直接计算回归系数。通过它可以求得使预测误差平方和最小的参数估计值，是经典回归分析的核心步骤。
6.1.2 参数估计
除了回归系数外，正规方程还可用于一般线性模型中的未知参数估计。其基本思想是把观测值与模型表达式之间的偏差压缩到最小。
6.2 信号处理
在信号处理里，正规方程常用于滤波器设计、信号重建与噪声抑制。通过最小化输出误差，可以得到更符合目标特性的线性系统参数。
6.3 机器学习
机器学习中的许多线性模型都可视为正规方程的应用场景。它为参数学习提供了闭式解，在小规模数据或理论分析中尤其常用。
6.3.1 特征拟合
特征拟合问题可转化为对特征矩阵的最小二乘估计。正规方程帮助模型在多个特征之间寻找最合适的线性组合。
6.3.2 岭回归的扩展
岭回归在正规方程基础上加入正则项，使系数矩阵更稳定。其形式通常表现为 \((A^\top A+\lambda I)x=A^\top b\)，可缓解共线性并提升数值表现。
6.4 工程计算
工程领域经常面对测量误差、离散采样和模型近似问题，正规方程因此具有广泛用途。它有助于把实验数据转化为可操作的数学模型。
6.4.1 数据拟合
在曲线拟合与实验拟合中，正规方程可用于求解最佳参数，使理论曲线尽可能贴近观测点。它是工程建模中常见的基础工具。
6.4.2 标定问题
标定问题通常涉及将仪器输出与真实量之间建立对应关系。通过正规方程求得的参数，可帮助修正系统偏差并提高测量精度。
7 相关概念
7.1 正规方程与法方程
“法方程”在中文语境中常与正规方程互用，尤其在最小二乘与数值线性代数中更是如此。两者都强调由原问题导出的标准线性条件。
7.2 正规方程与梯度为零条件
正规方程本质上可视为目标函数梯度为零的表达。对平方损失函数求导后得到的方程，正是最优点的一阶驻点条件。
7.3 正规方程与最优性条件
在凸优化或二次优化中，正规方程常是最优性条件的具体形式。它说明解不仅满足代数关系，也满足使目标函数达到极值的必要要求。
7.4 正规方程与伪逆
当正规方程因秩亏而无法唯一求解时，伪逆提供了替代途径。伪逆解既保留了最小二乘意义，又能在多解情况下选出具有代表性的规范解。
8 历史与发展
8.1 早期最小二乘思想
最小二乘思想早期用于天文观测和误差修正。研究者希望通过多组带误差的数据反推最合理的参数，这一需求推动了正规方程的形成与传播。
8.2 数值分析中的演化
随着矩阵理论和数值分析的发展，正规方程被系统化处理，并与投影方法、分解算法和误差分析结合起来。人们逐渐认识到它在理论上的简洁性与计算上的局限性并存。
8.3 现代计算中的改进
现代计算更强调稳定性与可扩展性，因此在大规模问题中，常优先采用 QR 分解、奇异值分解或迭代优化方法，而不是直接形成正规方程。不过，在结构清晰、规模适中的问题里，它仍然是重要而实用的工具。
9 参考性质
9.1 典型例题
典型例题通常是给定若干观测点，要求拟合一条直线或平面。解题时先建立设计矩阵，再写出正规方程，最后解出参数即可。这类题目常用于展示最小二乘的基本流程。
9.2 常见变形
正规方程常见变形包括加入正则项、替换为加权形式，或在约束条件下改写为带拉格朗日乘子的系统。不同变形对应不同应用场景，但核心思想仍是由原问题导出可求解的标准条件。
9.3 证明思路
正规方程的证明通常有两条路径：一是从误差平方和对参数求导，二是从投影与正交性出发。前者偏向分析计算，后者更强调几何直观；两者最终都会得到同样的方程形式。