1 基本概念
最小二乘估计法是一类通过最小化误差平方和来确定模型参数的统计与优化方法。其基本出发点是：当观测数据与理论模型之间存在偏差时，选择一组参数，使模型预测值与实际观测值的差异总体尽可能小。由于平方运算会放大较大的偏差，因此该方法对离群误差较为敏感，但在数据噪声近似服从对称分布、且误差较小时，通常具有良好的实用效果。
1.1 方法定义
在给定观测数据与参数化模型后，最小二乘法通过构造损失函数，将每个观测点的残差平方后求和，并寻找使该总和达到最小的参数解。若模型记为 \(y=f(x;\theta)\)，则目标通常写成 \[ \min_{\theta}\sum_{i=1}^{n}(y_i-f(x_i;\theta))^2 \] 其中 \(\theta\) 为待估参数，\(y_i\) 为观测值，\(f(x_i;\theta)\) 为模型预测值。
1.2 误差平方和
误差平方和是最小二乘法的核心评价量，常记为 SSE 或 RSS。它衡量的是所有残差的平方累积值，数值越小，说明模型对数据的整体贴合程度越高。平方形式的优点在于便于求导和计算，也能将正负误差统一处理，避免相互抵消。
1.3 几何解释
从几何角度看，最小二乘法可理解为在某个向量空间中寻找与观测向量“距离”最近的模型向量。在线性情形下，数据向量被投影到由模型列向量张成的子空间中，投影点即为最优拟合结果。
1.3.1 投影与残差
拟合后的残差可以看作观测向量与投影点之间的差向量。在线性最小二乘中，残差与模型子空间正交，这是最优解的重要几何特征。也正因如此，残差不再含有能够通过当前模型解释的成分。
1.3.2 最优逼近思想
最小二乘方法体现了“以最小代价逼近真实规律”的思想。即使模型无法完全描述现实系统，也可通过寻找最接近的数据拟合方案，在误差意义下得到一个合理的近似表达。
1.4 历史发展
最小二乘思想可追溯到近代天文学与大地测量中的数据处理需求。随着观测技术发展，科学家逐渐需要一种系统的方法来处理带噪测量值。后来，该方法被广泛纳入数理统计、数值分析与工程计算体系，并逐步扩展到更复杂的非线性拟合与优化问题中。
2 数学原理
最小二乘法的数学基础主要涉及向量空间、矩阵运算和优化理论。在线性模型下，其结构清晰，常可得到解析解；在非线性模型下，则通常依赖局部线性化与迭代逼近。
2.1 线性最小二乘
| 线性最小二乘问题通常写成 \(Ax \approx b\) 的形式，其中 \(A\) 为设计矩阵，\(x\) 为待估参数向量，\(b\) 为观测向量。目标是使 \(\|Ax-b\|^2\) 最小。 |
|---|
2.1.1 矩阵表达式
在线性代数框架下，误差平方和可写为 \[
| \min_x \|Ax-b\|_2^2 |
|---|
\] 这里的二范数表示向量长度。设计矩阵的列通常对应不同的解释变量或基函数，而求解结果则给出各参数的最优估计。
2.1.2 正规方程
对目标函数求导并令其为零，可得到正规方程 \[ A^TAx=A^Tb \] 若矩阵 \(A^TA\) 可逆，则可进一步解出参数。正规方程是最小二乘最经典的代数形式，但在数值计算中并不总是最稳定。
2.1.3 唯一解条件
当设计矩阵的列满秩时，线性最小二乘解通常唯一。若列向量存在线性相关，则可能出现多解或解不稳定的情况。此时往往需要借助伪逆、正则化或额外约束来确定合适解。
2.2 非线性最小二乘
当模型对参数的依赖不是线性的，例如指数函数、幂函数或复杂物理模型时，就形成非线性最小二乘问题。这类问题通常没有简单闭式解，需要采用数值迭代方法。
2.2.1 线性化思想
非线性最小二乘常在当前参数附近把模型近似为线性形式，再通过反复更新参数逼近最优点。每一步都将原问题转换为一个局部的线性拟合任务，从而逐渐改善结果。
2.2.2 泰勒展开近似
常用的处理方式是对模型函数做泰勒展开，并保留一阶项： \[ f(\theta+\Delta\theta)\approx f(\theta)+J(\theta)\Delta\theta \] 其中 \(J(\theta)\) 是雅可比矩阵。借助这一近似，可将非线性问题转化为关于增量 \(\Delta\theta\) 的线性最小二乘问题。
2.3 最优化条件
最小二乘问题本质上属于优化问题，因此其解需要满足相应的一阶和二阶条件。在线性情形下，这些条件通常可直接导出；在非线性场景中，则更多体现为局部极值判定。
2.3.1 一阶必要条件
目标函数在最优点处的梯度应为零或满足约束下的相应条件。对无约束最小二乘而言，这意味着残差向量与参数方向的一阶变化率之间不存在可继续降低目标值的方向。
2.3.2 二阶条件与凸性
若目标函数是凸函数，则局部最小值即为全局最小值。线性最小二乘的目标函数是二次型，通常具有良好的凸性结构；而非线性最小二乘则可能出现多个局部极小点，需要依赖初值和迭代策略。
3 统计性质
在统计学中，最小二乘估计不仅是计算方法，也可作为参数估计量进行性质分析。其表现与误差分布、样本结构以及模型设定密切相关。
3.1 无偏性
在经典线性模型假设下，若误差项期望为零，则最小二乘估计通常具有无偏性，即估计的平均结果等于真实参数。该性质使其在长期重复抽样中具有稳定的中心位置。
3.2 有效性
有效性关注的是估计量方差是否尽可能小。在满足特定条件时，最小二乘估计在一类线性无偏估计量中可达到较优的精度，因此常被视为高效的参数估计方法。
3.3 一致性
一致性指随着样本量增大，估计值逐渐逼近真实参数。对于满足适当正则条件的模型，最小二乘估计通常具有一致性，这也是其在大样本分析中的重要优势之一。
3.4 方差与协方差
最小二乘估计量的方差和协方差矩阵反映了参数不确定性的大小以及各参数之间的相关程度。设计矩阵的结构、噪声水平和样本分布都会影响这些量，从而决定估计结果的稳定性。
3.5 高斯-马尔可夫定理
高斯-马尔可夫定理指出，在经典线性模型的假设下，普通最小二乘估计是线性无偏估计量中方差最小者，即最佳线性无偏估计。该结论为最小二乘法提供了重要理论支撑。
4 常见类型
最小二乘法并非单一固定形式，而是根据误差结构、约束条件和建模需求，发展出多种变体，以适配不同的数据特征。
4.1 普通最小二乘
普通最小二乘是最基本的形式，默认各观测误差具有相同方差且彼此独立。它结构简单、易于分析，是许多回归模型的标准起点。
4.2 加权最小二乘
当不同观测点的可靠性不一致时，可以为每个残差赋予不同权重，使更可信的数据点对最终结果影响更大。加权最小二乘由此用于处理误差尺度不均的问题。
4.2.1 权重设计
权重通常与观测方差成反比，方差越大，权重越小；反之则越大。合理的权重设计有助于提高估计精度，但权重失当也可能带来偏差或放大噪声。
4.2.2 异方差处理
在存在异方差时，普通最小二乘虽然仍可使用，但效率往往下降。加权最小二乘可通过调整误差贡献，缓解不同样本方差不一致导致的问题。
4.3 广义最小二乘
广义最小二乘进一步考虑误差项之间可能存在相关性或协方差结构不规则的情况。它通过对误差协方差矩阵进行建模，使估计更符合实际数据生成机制。
4.4 非线性最小二乘
非线性最小二乘处理的是参数进入模型方式非线性的情形。这类方法广泛用于曲线拟合、动力学模型和实验数据反演，通常需要迭代算法才能求解。
4.5 约束最小二乘
约束最小二乘是在参数求解时加入额外限制，如等式约束、非负约束或区间约束。它常见于需要保证物理意义、几何可行性或业务规则的场景。
5 求解方法
最小二乘问题的求解方式可分为直接法与迭代法。选择何种方法，通常取决于问题规模、矩阵性质以及对精度和速度的要求。
5.1 直接求解法
直接法适合规模较小或结构较规整的问题，能够一次性给出解或较高精度近似解。
5.1.1 正规方程法
通过构造正规方程并直接求解，可得到最小二乘解。该方法实现简洁，但在矩阵条件较差时可能引入较明显的数值误差。
5.1.2 矩阵分解法
常见的矩阵分解方法包括 QR 分解、奇异值分解等。相比直接求解正规方程，这类方法通常更稳定，尤其适用于病态或接近奇异的设计矩阵。
5.2 迭代求解法
对于大规模或非线性问题，迭代算法往往更实用。它们通过逐步更新参数，在每一步改善目标函数值，直到满足停止条件。
5.2.1 梯度下降
梯度下降根据目标函数的下降方向不断调整参数。其优点是实现简单，适合大规模优化；不足在于收敛速度受学习率影响较大。
5.2.2 牛顿法
牛顿法利用一阶和二阶导数信息构造更精细的更新方向，通常具有较快的局部收敛速度。但其计算代价较高，对初值和 Hessian 性质也较敏感。
5.2.3 高斯-牛顿法
高斯-牛顿法专门用于非线性最小二乘问题，通过忽略二阶残差项，把更新过程近似为线性最小二乘求解。它在曲线拟合中应用广泛。
5.2.4 Levenberg-Marquardt算法
Levenberg-Marquardt 算法可视为高斯-牛顿法与梯度下降法的折中。它通过引入阻尼因子，在远离最优点时增强稳定性，在接近最优点时提高收敛效率。
5.3 数值稳定性
最小二乘计算中的稳定性问题十分重要。即使理论解存在，数值误差也可能使结果偏离真实值，因此实际应用中常需关注矩阵条件和算法鲁棒性。
5.3.1 条件数问题
条件数反映输入扰动对输出结果的放大程度。若条件数过大，说明问题对误差十分敏感，小幅数据扰动便可能引起较大参数变化。
5.3.2 病态矩阵处理
对于病态矩阵，可采用归一化、正则化、分解算法或重新选取特征变量等方式改善数值表现。实际计算中，避免直接求逆往往更为稳妥。
6 模型评价
最小二乘拟合完成后，还需评估模型是否真正解释了数据。评价内容不仅包括误差大小，也涉及残差结构、参数稳定性和泛化能力。
6.1 拟合优度
拟合优度用于衡量模型对观测数据的解释程度。常见指标包括决定系数等，它们可反映模型相对于简单基准的改进幅度。
6.2 残差分析
残差分析用于检查误差是否随机分布，以及是否存在系统性模式。若残差中仍出现明显趋势、周期性或分层结构，往往意味着模型设定尚不充分。
6.3 过拟合与欠拟合
过拟合表示模型过于复杂，虽然在训练数据上表现很好，但对新数据泛化较差；欠拟合则是模型过于简单，无法捕捉主要规律。最小二乘拟合也可能在二者之间失衡，尤其在特征较多时更为明显。
6.4 参数显著性检验
参数显著性检验用于判断某些系数是否与零有显著差异。它有助于识别哪些解释变量对模型结果具有实质贡献，并减少无效参数干扰。
6.5 置信区间与预测区间
置信区间描述参数估计的不确定范围，预测区间则刻画未来观测值的可能波动范围。二者分别服务于参数推断和结果预测，是最小二乘分析中的重要输出。
7 应用领域
最小二乘法由于通用性强，已成为多个学科中的基础工具。只要问题可表示为“用模型逼近数据”，它往往就有发挥空间。
7.1 统计回归分析
在回归分析中，最小二乘法用于估计自变量与因变量之间的关系。它是线性回归的标准估计方法，也常作为更复杂回归模型的起点。
7.2 工程测量与误差校正
在测量学中，观测值通常包含仪器误差与环境扰动。最小二乘法可用于平差、坐标估计和误差校正，从而提高测量结果的可靠性。
7.3 信号处理与滤波
在信号处理领域，最小二乘法可用于参数辨识、滤波设计和噪声抑制。通过拟合目标信号或估计系统响应，可以实现对复杂信号的有效近似。
7.4 机器学习中的线性回归
在线性回归模型中，最小二乘法是最常见的参数学习手段之一。它可用于预测数值型输出，并且易于与特征工程、正则化和模型选择结合。
7.5 物理建模与实验数据拟合
在物理实验中，理论公式常需要通过数据来验证或校准。最小二乘法可用于拟合实验曲线、估计常数参数以及检验模型与观测的一致程度。
8 相关扩展
随着应用场景复杂化，传统最小二乘逐渐衍生出多种增强形式，以应对噪声结构、变量稀疏性和先验知识等问题。
8.1 正则化最小二乘
正则化最小二乘在原始误差项之外加入惩罚项，用于控制参数规模、降低过拟合风险，并改善病态问题的稳定性。
8.1.1 岭回归
岭回归在目标函数中加入参数平方惩罚项，通过压缩系数大小来缓解多重共线性和过拟合现象。它常用于高维或相关性较强的数据场景。
8.1.2 套索回归
套索回归采用绝对值惩罚项，除了抑制参数过大外，还具有促使部分系数变为零的特性，因此常用于变量选择。
8.2 鲁棒最小二乘
鲁棒最小二乘关注对异常值不敏感的拟合问题。与普通平方损失相比，鲁棒方法往往采用更温和的损失函数，以减弱少数极端点对整体结果的影响。
8.3 稀疏最小二乘
稀疏最小二乘强调在较少非零参数下完成拟合，适合高维数据和特征压缩任务。它常与稀疏表示、压缩感知等思想联系紧密。
8.4 贝叶斯视角下的最小二乘
从贝叶斯角度看，最小二乘估计可与特定先验和噪声假设相联系。加入先验后，问题常转化为后验分布的最大化或参数的最大后验估计。
8.5 与最大似然估计的关系
在误差服从高斯分布的条件下，最小二乘解与最大似然估计往往一致。这一联系解释了平方损失在统计建模中的广泛使用，也为其提供了概率意义上的依据。