1 最小二乘的基本定义
最小二乘是一类以“残差”为对象的参数估计方法。给定一族候选模型（由参数刻画）并观察到一组数据时，将每个观测与模型预测之间的差记为残差；随后选择一组参数，使残差在某个度量下尽可能小。最经典的情形是取残差平方和作为目标函数，因此常被概括为“平方误差最小”。
1.1 残差与误差的概念
在回归语境中，残差通常指“观测值减去模型预测值”的差。由于观测值可被看作“真实量加上随机扰动”，残差既包含随机误差，也可能包含模型设定不足带来的偏离。对最小二乘而言，关键在于它不直接优化参数与真实函数之间的距离，而是优化数据层面的残差度量。
1.2 残差范数最小化准则
最小二乘的“二乘”来源于选择了残差的特定范数形式。更一般的最小化框架可以写作：在参数空间中寻找使目标函数最小的参数；目标函数由残差向量经过某种范数或损失函数构成。
1.2.1 二范数（平方误差）最小
| 当残差向量为 \(r\) 时，二范数最小化对应于最小化 \( \|r\|_2^2 \)。在线性回归里，残差平方和是典型代价函数：它带来可微性良好、目标函数为凸（在常见线性设定下）以及可获得封闭形式解或高效数值解。平方项也会对较大的残差赋予更强权重，从而在噪声近似对称且尾部不太重的场景下表现良好。 |
|---|
1.2.2 其他范数与误差度量的差异
若改用其他范数，例如一范数（绝对误差）或采用鲁棒损失函数，则对应的估计器一般会改变：最优化性质可能不同（例如解可能不再可得封闭形式或计算更复杂），对离群值的敏感性也会变化。二范数的平方形式对极端点更敏感；而其他度量往往能在存在离群或误差分布重尾时提供更稳定的拟合效果。总体而言，选择何种残差度量，本质是在对误差结构与“惩罚方式”做假设。
1.3 估计量与参数空间
最小二乘通过对参数进行优化产生估计量。参数空间的约束（例如参数必须满足某些线性或非线性条件）会影响可行域，从而改变求解方式：可能仍能转化为线性代数问题，也可能需要一般的数值优化。即便不加显式约束，在不同模型形式下（线性或非线性），也会呈现不同的目标函数几何特征与收敛行为。
2 线性最小二乘（OLS）
普通最小二乘（Ordinary Least Squares, OLS）是最常用的最小二乘变体。它对应于线性回归模型中，以残差平方和作为代价函数的参数估计。
2.1 线性回归模型表示
考虑模型 \[ y = X\beta + \varepsilon, \] 其中 \(y\) 为 \(n\) 维观测向量，\(X\) 为设计矩阵（包含自变量及常数项等），\(\beta\) 为待估系数，\(\varepsilon\) 为误差项。OLS 在给定 \(X\) 与 \(y\) 的条件下，寻找使残差平方和最小的 \(\beta\)。
2.2 代价函数与目标最优化
残差定义为 \[ r(\beta) = y - X\beta. \] OLS 的目标是最小化 \[
| S(\beta)=\|y - X\beta\|_2^2. |
|---|
\] 在该设定下，\(S(\beta)\) 关于 \(\beta\) 通常是二次函数，因而能够通过求导并令梯度为零转化为线性方程组。
2.3 法方程（Normal Equations）
将目标函数对 \(\beta\) 求导并令其为零，可得法方程： \[ X^\top X\beta = X^\top y. \] 法方程反映了最小化条件本质上等价于某种正交性或投影条件（在几何部分更直观）。
2.3.1 可逆情形下的闭式解
若 \(X^\top X\) 可逆，则 OLS 有闭式解： \[ \hat{\beta} = (X^\top X)^{-1}X^\top y. \] 该形式直接显示了估计与数据矩阵的线性代数结构之间的关系。
2.3.2 不满秩/欠定情形与伪逆
当 \(X^\top X\) 不可逆（例如 \(X\) 列线性相关、模型参数超过有效信息等），法方程仍可写作 \(X^\top X\beta = X^\top y\)，但解不唯一。常用处理方式是采用伪逆（Moore–Penrose pseudoinverse），从而得到最小范数意义下的解，或采用数值算法找出稳定的最优解。欠定情形下，估计器的解释往往与“选择哪一组系数”有关，而不是与拟合误差本身的唯一性。
2.4 残差向量、拟合值与投影关系
定义拟合值 \(\hat{y}=X\hat{\beta}\) 与残差 \( \hat{r}=y-\hat{y}\)。在 OLS 中，这些对象与几何投影存在紧密联系。
2.4.1 几何解释：投影到列空间
可以将 \(\hat{y}\) 看作 \(y\) 在 \(X\) 的列空间（由 \(X\) 的列向量张成的子空间）上的正交投影。因为投影产生的向量与原向量之差在法方向上最短，因而对应“残差平方和最小”。这一几何图像解释了 OLS 为什么与线性代数的投影矩阵高度相关。
4.2.2 残差的正交性
在最优解处，残差向量满足与设计矩阵列空间正交的性质： \[ X^\top \hat{r}=0. \] 这意味着残差不会与任何解释变量方向产生相关性（在代数意义上），从而保证平方误差最小化的必要条件被满足。
2.5 估计量的方差与无偏性条件
OLS 的统计性质通常取决于误差项的分布与条件期望。若满足常见的条件（例如 \(E[\varepsilon\mid X]=0\)），则 \(\hat{\beta}\) 可在给定 \(X\) 的条件下无偏。方差则与误差协方差结构、\(X\) 的设计矩阵几何有关：当误差方差是常数且不同观测间相互独立或结构良性时，方差表达式可用 \( (X^\top X)^{-1}\) 与误差方差标量组合来给出。若误差存在异方差或相关性，简单的方差公式可能需要修正或更换估计框架。
3 统计解释与经典假设
OLS 不仅是优化问题，也常被用作统计推断的基础。其经典解释主要依赖于误差分布假设与似然理论。
3.1 高斯误差下的极大似然联系
若误差项服从正态分布且方差为某个参数，则在给定 \(X\) 的条件下，OLS 的平方误差准则与最大似然估计对应起来：最小化残差平方和相当于最大化高斯似然函数（对方差参数或在忽略常数项的情况下）。因此，在高斯假设下，OLS 既能从优化角度理解，也能从统计推断角度得到合理性。
3.2 最小二乘与充分统计量直观
在某些经典模型中，残差平方和（或与之等价的二次型）可以浓缩为对参数推断的重要信息，其他观测细节在统计意义上被“汇总”了。这种“信息浓缩”的思想使得推断可以更聚焦于少量关键量，例如在正态线性模型里，相关统计量与参数估计的关系更清晰。
3.3 置信区间与显著性检验的基础框架
置信区间与显著性检验通常需要误差方差估计与参数采样分布。在线性高斯框架下，OLS 的估计量在适当条件下可以推导出近似或精确的分布，从而形成检验与区间构造的理论基础。
3.3.1 残差方差的估计
常见做法是用残差平方和除以自由度（例如 \(n-p\)，其中 \(p\) 为待估参数个数），得到残差方差的估计量。该估计在误差独立同分布且模型设定正确时具有良好性质；在更一般情形下可能需要采用稳健方差估计或更匹配的模型。
3.3.2 R²与拟合优度的统计含义（概念层面）
\(R^2\) 常用于衡量拟合优度，直观上表示解释变量对总变异的“解释比例”。其统计含义与样本结构、变量选择、是否包含截距等细节相关；同时，较高的 \(R^2\) 不保证预测性能一定更好，也不直接等同于参数估计的因果意义。将其作为诊断或描述性指标更为合适。
4 加权最小二乘与相关误差
当误差方差不再为常数或观测之间存在相关性时，普通最小二乘可能不再最有效。加权最小二乘通过对残差施加不同权重以匹配误差结构。
4.1 异方差情形（加权思想）
若误差具有异方差，即不同观测的误差方差不同，某些点的残差波动更大但不应与其他点同等对待。加权思想是：对“更不可靠”的观测施加更小权重，使优化更符合噪声强弱的差异。
4.2 协方差已知/未知的处理思路
若误差协方差结构在理论上或通过外部信息可近似得到，可直接构造权重矩阵并求解加权最小二乘。若协方差未知，则常用策略包括先做初步拟合得到残差，再估计方差结构，随后迭代更新权重（或采用稳健推断框架）。这些方法的目标是在不牺牲计算可行性的前提下改善效率与推断稳定性。
4.3 加权最小二乘（WLS）的形式
加权最小二乘通常以 \[ (y - X\beta)^\top W (y - X\beta) \] 为目标函数，其中 \(W\) 为对残差进行加权的对称正定矩阵。选择 \(W\) 与误差协方差的逆相关（在某些设定下可视为用 \( \Sigma^{-1}\) 作为权重）能够在合适条件下提高估计效率，并使法方程替换为相应的加权形式。
4.4 与广义最小二乘（GLS）的关系
广义最小二乘（GLS）可理解为对误差协方差为一般矩阵情形的扩展。当误差不仅方差不同，还存在相关性时，GLS 以更一般的协方差结构为基础构造等价的加权目标，并可通过“去相关”的线性变换将其转化为标准形式的最小二乘问题。WLS 可视为 GLS 在特定协方差结构下的特例。
5 数值计算与实现要点
实际应用中，最小二乘不仅是理论表达式，也依赖于数值算法的稳定性与效率。
5.1 直接求解与数值稳定性
在可逆且条件良好的情况下，可以直接用闭式解计算。但当矩阵病态或维度较大时，直接求逆可能导致数值误差放大。工程上通常避免显式求逆，而是通过更稳定的分解方法求解线性方程组。
5.2 正交分解（QR）方法
5.2.1 QR与最小二乘的计算效率
QR 分解将 \(X\) 表示为正交矩阵与上三角矩阵的乘积：\(X=QR\)。在最小二乘问题中，可将其转化为更容易求解的三角系统，从而提高数值稳定性。由于正交变换误差传播更可控，QR 往往是通用而稳健的实现选择。
5.3 奇异值分解（SVD）与最优鲁棒性
SVD 将 \(X\) 分解为 \(U\Sigma V^\top\)。当数据矩阵存在近似线性相关或秩接近缺失时，SVD 能更清晰地识别有效子空间，并支持基于截断奇异值的处理，进而提高鲁棒性。通过伪逆形式结合 SVD，可以得到在数值意义上更稳定的最优解。
5.4 大规模问题与迭代算法（概念）
当样本量或特征维度极大时，直接分解可能计算成本高。此时常用迭代方法或基于矩阵乘法的策略，利用目标函数的结构与稀疏性来降低内存与时间开销。此类方法的关键在于收敛性、预条件策略以及对目标函数的准确度控制。
6 约束、正则化与变体
在许多应用中，纯粹的最小二乘最优解可能不满足业务要求或泛化能力不足。通过约束与正则化可以引入先验信息并改善性质。
6.1 带约束最小二乘（如非负约束）
当系数需要满足特定条件，例如必须非负或满足某些线性约束时，可以将最小二乘转化为带约束的优化问题。约束会影响可行域，因此解往往不再有简单闭式形式，而是借助凸优化或专用算法求得。该思路能提高可解释性并避免不合理的参数符号。
6.2 正则化最小二乘（如岭回归等的概念联系）
正则化通过在目标函数中加入与参数规模相关的惩罚项，抑制过拟合并改善数值稳定性。与 OLS 相比，正则化往往改变了估计器对数据噪声的敏感性，并在特征共线性较强或样本有限时更有优势。概念上，正则化等价于在数据拟合与复杂度之间进行折中。
6.3 反向传播/自动微分下的目标函数视角（概念）
当最小二乘目标被用作更复杂模型的一部分时，常将其写成可微的损失函数并交给自动微分框架进行梯度计算。此时“最小二乘”不再局限于线性模型，而是作为一种常见的回归损失嵌入更大网络结构中。尽管求解方式可能从解析解转向数值优化，核心仍是对残差的范数惩罚。
6.4 模型选择与超参数调节的直观框架
约束与正则化通常带来额外的超参数，例如权重强度或约束强弱。模型选择阶段常用交叉验证或基于验证集的指标来平衡偏差与方差。直观上，超参数过强会导致欠拟合，过弱则可能产生过拟合；最小二乘的扩展本质上仍是寻找“合适的折中点”。
7 评估、诊断与残差分析
最小二乘估计得到后，仍需通过诊断检查模型是否满足假设、拟合是否存在结构性问题。
7.1 残差图与系统性偏差识别
残差图能够帮助观察残差是否呈现非随机形态。例如残差随自变量呈现趋势、出现周期性或漏斗形状，往往提示模型设定不充分或误差方差结构不恒定。通过这些图形化线索，可以决定是否需要加入非线性项、交互项或更换误差结构建模策略。
7.2 异方差与相关性的诊断思路（概念）
异方差会导致标准误差推断偏离真实情况，而误差相关性则会破坏独立同分布假设。诊断通常基于残差的尺度随水平变化、残差自相关模式或统计检验结果。若发现显著问题，往往需要采用加权或稳健方差估计来改进推断可靠性。
7.3 离群点对最小二乘的影响（稳健性讨论）
由于平方误差对大残差惩罚更强，离群点可能对 OLS 结果产生较大影响，甚至主导拟合方向。稳健回归思想会改变损失函数或采用更抗干扰的估计策略，从而降低离群数据点对整体拟合的牵引作用。在实际中，离群点既可能是真异常，也可能是数据录入错误或建模遗漏，处理前应结合业务语境核查。
7.4 诊断指标与误差度量的差异
评估指标与训练目标未必一致。OLS 训练时最小化的是平方误差，但评估时可能关注绝对误差、相对误差或预测区间覆盖率等不同指标。不同指标反映了对误差代价的不同偏好，选择时应考虑应用场景下“误差的损失方式”更接近哪一种。
8 小结：最小二乘在统计学习中的位置
8.1 作为回归基石的原因
最小二乘之所以成为回归领域的基础方法，主要在于其目标直观、在线性情形下可获得清晰的代数解结构，并具备良好的统计解释与便于推断的理论框架。即使在扩展场景中，它也常作为损失函数或基准算法出现在更复杂模型体系里。
8.2 与其他估计准则的对比（概念）
相较于最小绝对偏差、最大似然直接优化非高斯目标或更复杂的鲁棒准则，最小二乘往往在“噪声较接近理想化且残差分布不过于极端”的条件下更高效、更易分析。但当误差结构或异常点更显著时，其他准则可能更贴合真实误差代价与数据生成机制。
8.3 常见误区与使用边界（概念）
常见误区包括将拟合优度指标直接等同于预测能力或因果效应、忽视异方差与相关性对推断的影响、以及在离群点存在时仍盲目依赖平方误差准则。合理的使用边界要求：结合数据诊断与误差结构判断是否需要加权、稳健或正则化，并在模型选择时通过验证评估泛化表现。