1 基本概念
最小二乘法是一类通过“最小化误差平方和”来确定模型参数的方法。其基本做法是：先给定一个待拟合模型，再比较模型输出与实际观测之间的差异，并选择使这些差异的平方和最小的一组参数。由于平方运算会放大较大的偏差，这种方法在数据拟合和参数估计中尤其常见。
1.1 方法定义
在最常见的表述中，若观测值为 \(y_1,y_2,\dots,y_n\)，模型预测值为 \(\hat y_1,\hat y_2,\dots,\hat y_n\)，则最小二乘法要寻找参数，使 \[ \sum_{i=1}^n (y_i-\hat y_i)^2 \] 取得最小值。这里的“二乘”就是将偏差平方后累加。该方法不仅可以用于简单的直线拟合，也可推广到更复杂的函数模型与参数系统。
1.2 误差与残差
在实际分析中，“误差”和“残差”常被区分使用。误差通常指真实值与理论真值之间的偏离，而残差则是观测值与模型拟合值之间的差距。最小二乘法直接处理的是残差，因此它更偏向于对已观测数据的拟合质量评价。
1.2.1 残差的含义
残差反映了模型无法解释的部分。若某个点的残差较大，说明该点与模型预测偏差较明显，可能来自测量误差、随机波动或模型不适配。残差分析常用于检验拟合效果，并帮助判断模型是否存在系统性偏差。
1.2.2 误差平方和
误差平方和是最小二乘法的核心目标量。将每个残差平方后求和，可以避免正负抵消，并使较大的偏差受到更强惩罚。这一处理方式使优化问题具有明确的数学形式，也便于使用代数与数值方法求解。
1.3 几何解释
最小二乘法不仅是代数优化问题，也有清晰的几何含义。它可以理解为在某个向量空间中寻找与观测向量“最接近”的模型向量。
1.3.1 投影思想
在线性情形下，观测向量可以看作位于高维空间中的一个点，而模型所对应的所有可能结果构成一个子空间。最小二乘解等价于将观测向量正交投影到该子空间上，从而得到距离最短的近似点。
1.3.2 最优逼近
从几何角度看，最小二乘法给出的并不是“完全相等”的解，而是“误差最小”的最佳逼近。这种思想非常适合处理现实中的不完美数据，因为真实观测往往无法被理想模型完全解释。
2 历史发展
最小二乘法的形成与天文学、测量学和数理统计的发展密切相关。它并非一开始就以统一理论出现，而是在多个领域的实践中逐步成熟。
2.1 早期思想
在正式方法建立之前，已有学者尝试用平均化和偏差平衡的方式处理观测误差。早期测量问题中，人们已经认识到：多个不精确观测值可以通过某种规则组合，得到更可靠的结果。这类思想为后来的最小二乘原理奠定了基础。
2.2 高斯与勒让德
最小二乘法的经典形式通常与高斯和勒让德联系在一起。二者在天文与测地问题的研究中，都推动了该方法的系统化。
2.2.1 天体测量中的应用
在天体测量中，观测数据往往受到仪器误差和环境扰动影响，单次结果难以精确。最小二乘法能够将多次观测整合起来，从而估计天体位置、轨道参数等未知量，因此很快成为重要工具。
2.2.2 经典争议与优先权
关于谁最早提出最小二乘思想，学界长期存在历史优先权讨论。一般认为，勒让德较早公开表述了该方法，而高斯则在更广泛的理论与应用层面推动了它的发展，并使其与误差理论建立了紧密联系。
2.3 现代扩展
进入近现代后，最小二乘法逐渐从天文与测量领域扩展到统计学、工程学和计算科学之中，形成了多种分支与变体。
2.3.1 统计学中的发展
在统计学中，最小二乘法被纳入回归分析框架，用于研究变量之间的关系。随着概率论和抽样理论的发展，它不仅被看作一种计算手段，也被视为参数估计的重要理论方法。
2.3.2 计算方法的演进
随着问题规模增大，直接求解已不总是可行，因此数值线性代数发展出更稳定高效的算法，如QR分解、奇异值分解和迭代优化方法。这些进展使最小二乘法能够处理更大规模、更复杂的数据集。
3 数学原理
最小二乘法的本质是优化问题。通过设定目标函数，并利用导数、矩阵和几何结构，可以得到一整套可分析、可计算的理论框架。
3.1 目标函数
最小二乘问题通常可写成最小化某个二次型目标函数。在线性模型中，这一目标函数往往是残差向量的平方范数。由于函数具有良好的光滑性和凸性，很多情况下可以得到解析解或稳定的数值解。
3.2 正规方程
将目标函数对参数求导并令其为零，通常可以得到正规方程。这是一种从极值条件导出的线性方程组，是最小二乘法的重要理论基础。
3.2.1 矩阵形式
若模型写成 \(Ax\approx b\)，其中 \(A\) 为设计矩阵，\(x\) 为待估参数，\(b\) 为观测向量，则正规方程可表示为 \[ A^TAx=A^Tb \] 这一表达式把最小二乘问题转化为线性代数问题，便于进一步分析与求解。
3.2.2 可解条件
当矩阵 \(A\) 的列向量线性无关时，\(A^TA\) 往往可逆，此时解唯一。若矩阵秩不足，则可能存在多个解或需要借助广义逆等工具处理。可解性与数据独立性密切相关。
3.3 几何与代数性质
最小二乘解兼具几何和代数双重特征。几何上它是投影点，代数上它满足特定的正交条件。
3.3.1 正交条件
最优解对应的残差向量与模型空间正交。换言之，残差中不再含有可由模型解释的成分。这一性质既是几何投影的体现，也是正规方程成立的基础。
3.3.2 唯一性与稳定性
在设计矩阵满秩且条件良好的情况下，最小二乘解通常唯一且较稳定。若数据高度相关或矩阵病态，则解可能对微小扰动非常敏感，从而影响结果可靠性。
4 线性最小二乘法
线性最小二乘法是最经典、应用最广的形式。其模型对参数线性，因此计算和理论分析都较为成熟。
4.1 一元线性拟合
一元线性拟合通常用于寻找一条直线，使其尽可能贴近一组数据点。若模型为 \(y=ax+b\)，则最小二乘法通过选择斜率 \(a\) 和截距 \(b\)，使所有点到直线的垂直残差平方和最小。这是最常见的数据拟合入门模型。
4.2 多元线性回归
当解释变量不止一个时，问题便进入多元线性回归阶段。此时目标变量由多个自变量共同决定，模型可以更细致地描述现实关系。
4.2.1 参数估计
多元线性回归中的参数估计，本质上是求解一个线性最小二乘问题。估计结果给出各自变量对响应变量的影响强度，并可用于预测新样本的输出值。
4.2.2 模型解释
线性回归的优点不仅在于可计算，还在于可解释性较强。每个参数都可理解为对应变量变化单位对结果的边际影响，因此该方法在统计分析和经验建模中长期受欢迎。
4.3 矩阵求解方法
在线性系统规模较大或条件较差时，选择合适的矩阵求解方式非常重要。不同算法在精度、速度和稳定性上各有特点。
4.3.1 直接法
直接法通常指通过正规方程、矩阵求逆或消元等方式一次求出解。其优点是形式清晰，但在病态问题中可能出现数值误差放大，不适合所有场景。
4.3.2 分解法
分解法通过将矩阵分解为更易处理的形式来求解问题，如QR分解或奇异值分解。相比直接法，这类方法通常更稳定，也更适合数值计算软件实现。
5 非线性最小二乘法
当模型对参数不再线性时，问题就进入非线性最小二乘法范畴。此时目标函数往往不再是简单的二次型，求解也更依赖迭代技术。
5.1 非线性模型定义
非线性模型是指参数以非线性方式出现在函数表达式中的模型，例如指数模型、幂函数模型或复杂动力学模型。虽然结构更灵活，但求解难度也明显增加。
5.2 线性化思想
非线性最小二乘法常通过局部线性化处理，即在当前估计点附近用一阶泰勒展开近似原模型。这样便可将原问题转化为一系列线性最小二乘子问题，再逐步迭代逼近最优解。
5.3 迭代算法
非线性问题通常没有统一的闭式解，因此需要依靠迭代算法逐步更新参数。算法收敛速度和初值选择都会显著影响最终结果。
5.3.1 高斯-牛顿法
高斯-牛顿法利用残差函数的一阶导数信息构造近似二次模型，适合残差较小、初值较好的情况。其优点是计算相对高效，但在远离最优点时可能不够稳健。
5.3.2 Levenberg-Marquardt法
Levenberg-Marquardt法可看作介于高斯-牛顿法和梯度下降法之间的折中方案。它通过引入阻尼项来提高收敛稳定性，因此在工程拟合和参数识别中应用广泛。
6 加权与约束最小二乘法
现实数据常常并不“等价”，有些观测更可靠，有些参数必须满足特定限制。加权和约束最小二乘法正是为此而发展出来的。
6.1 加权最小二乘
加权最小二乘法允许不同观测具有不同权重，从而使可信度较高的数据对结果影响更大。
6.1.1 权重的作用
权重用于调整各项残差在目标函数中的贡献。若某些测量精度更高，就可赋予更大权重；反之则降低其影响。这使拟合过程更符合数据质量差异。
6.1.2 异方差情形
当不同观测的误差方差不相等时，普通最小二乘法可能不再适宜。此时采用加权最小二乘法，可以缓解方差不均带来的偏差，提高估计效率。
6.2 约束最小二乘
在一些问题中，参数必须满足几何、物理或业务规则，因此需要在优化过程中加入约束条件。
6.2.1 等式约束
等式约束要求参数满足某些精确关系，例如总和固定或某种守恒条件。求解时通常需要在目标函数与约束之间同时平衡。
6.2.2 不等式约束
不等式约束则规定参数必须落在某个范围内，如非负性、上下界限制等。这类问题往往更接近实际工程需求，但求解过程也更复杂。
6.3 鲁棒扩展
为了降低异常值的影响，最小二乘法还可向鲁棒估计方向扩展，采用对离群点不那么敏感的损失函数。
6.3.1 异常值处理
当数据中存在明显偏离总体趋势的点时，平方损失会使其作用被放大。鲁棒方法会限制这类点的影响，从而避免少数极端观测扭曲整体结果。
6.3.2 稳健估计
稳健估计强调在数据含噪、含异常或分布偏离理想假设时，仍能给出较可靠的参数结果。这类方法常与迭代重加权机制配合使用。
7 统计学性质
在统计学框架下，最小二乘法不仅是求解技术，也是参数估计理论的一部分。其性质通常依赖于误差分布和模型假设。
7.1 无偏性
在经典线性模型假设成立时，最小二乘估计通常具有无偏性，即估计值的期望等于真实参数。这意味着从长期重复抽样看，估计不会系统性偏高或偏低。
7.2 一致性
随着样本量增大，最小二乘估计往往趋于真实参数，这称为一致性。它表明该方法在大样本下能够逐渐恢复真实结构。
7.3 方差分析
方差分析常用于评估回归模型中解释部分与随机误差部分的相对大小，从而判断模型是否具有统计意义。
7.3.1 参数显著性
通过显著性检验，可以分析某个参数是否真正对结果产生影响，而不是仅由随机波动造成。它在变量筛选和模型解释中非常常见。
7.3.2 拟合优度
拟合优度用于衡量模型对数据的解释程度。常见指标包括决定系数等，用来判断拟合是否充分，或是否存在明显欠拟合。
7.4 与最大似然估计的关系
在误差服从正态分布等特定条件下，最小二乘估计与最大似然估计往往一致。这一联系使最小二乘法不仅具有几何直观，也具有概率统计上的理论支撑。
8 数值计算
最小二乘问题在实际求解时，常常更依赖数值算法而非手工推导。算法的稳定性和效率决定了它在大规模应用中的表现。
8.1 直接求解
直接求解方法包括正规方程法和矩阵消元等。这些方法实现简单，但当矩阵条件不佳时，可能导致舍入误差显著放大。
8.2 QR分解
QR分解将设计矩阵分解为正交矩阵与上三角矩阵的乘积。由于正交变换通常能较好保持数值稳定性，因此QR方法在工程计算中十分常用。
8.3 奇异值分解
奇异值分解能够揭示矩阵的秩结构与主方向，是处理病态或近似退化问题的重要工具。
8.3.1 病态问题
当设计矩阵的某些列高度相关时，问题可能变得病态，表现为解对输入扰动极其敏感。奇异值分解可帮助识别这种不稳定来源。
8.3.2 数值稳定性
与直接求逆相比，基于奇异值分解的方法通常更稳健，尤其适合存在噪声、秩缺失或尺度差异较大的数据场景。
8.4 迭代优化
对于大规模或非线性问题，迭代优化往往比一次性求解更现实。常见做法包括梯度下降、共轭梯度和牛顿类方法，它们通过逐步更新参数逼近最优点。
9 应用领域
最小二乘法几乎遍布所有需要拟合、估计和校正的领域，是跨学科通用性极强的工具。
9.1 数据拟合
在实验数据处理中，最小二乘法可用于建立经验公式、拟合趋势曲线或估计函数关系，是基础的数据分析手段之一。
9.2 误差校正
在多次测量或传感系统中，最小二乘法可用来校正偏差，提升结果的一致性与可靠度。它特别适合有重复观测的情形。
9.3 工程测量
工程测量中常涉及坐标平差、长度校准和姿态估计等问题。最小二乘法能够综合多源观测，给出更可靠的参数结果。
9.4 机器学习
在机器学习中，最小二乘法是许多回归模型的基础，也常作为训练损失函数的一种形式。
9.4.1 回归模型
线性回归、部分广义回归以及某些核方法都与最小二乘思想密切相关。它们通过最小化预测误差来学习样本与标签之间的关系。
9.4.2 正则化方法
为抑制过拟合，最小二乘目标常与正则项结合，形成带惩罚的优化框架。这样既保留拟合能力，又增强模型泛化性能。
9.5 信号处理
在信号处理中，最小二乘法可用于滤波参数估计、噪声抑制和系统辨识。它能从含噪信号中提取更接近真实结构的参数。
10 局限性与注意事项
尽管最小二乘法用途广泛，但它并非总是最佳选择。实际应用中，需要结合数据特征与模型假设谨慎使用。
10.1 对异常值的敏感性
平方损失会明显放大离群点影响，因此少数异常观测可能显著扭曲结果。若数据质量不稳定，通常需要先做异常检测或改用鲁棒方法。
10.2 模型设定偏差
如果模型结构本身不合适，即使误差平方和很小，也不代表结论可靠。模型偏差可能导致系统性误判，这是拟合方法常见的风险之一。
10.3 过拟合与欠拟合
当模型过于复杂时，可能把噪声也学习进去，形成过拟合；若模型过于简单，则可能无法捕捉主要规律，导致欠拟合。两者都需要通过验证和诊断加以平衡。
10.4 计算复杂度
在大规模数据或高维参数问题中，计算成本可能显著增加。尤其当矩阵维度很大或模型非线性较强时，算法选择会直接影响可行性。
11 相关概念
最小二乘法与多个数学和统计概念相互关联，理解这些概念有助于把握其理论位置。
11.1 回归分析
回归分析是一类研究变量关系的统计方法，最小二乘法是其中最常见的估计工具之一。二者常常几乎同时出现。
11.2 最优逼近
最优逼近研究如何在某个函数类或向量空间中找到距离目标对象最近的元素。最小二乘法正是这种思想的具体实现形式。
11.3 正交投影
正交投影是几何理解最小二乘法的核心概念。它描述了如何把一个向量投到子空间上，并使距离最短。
11.4 正则化方法
正则化方法通过在目标函数中加入额外约束或惩罚项，改善模型稳定性并防止过拟合。它常与最小二乘框架结合使用，形成更适合复杂数据的估计方案。