概念与基本设定
观测模型与残差
最小二乘拟合从观测数据出发，先给定一个模型形式。常见写法是将观测值表示为“模型预测值 + 误差”。记观测为 \(y_i\)，模型预测为 \(f(x_i;\theta)\)，参数为 \(\theta\)，则残差定义为 \[ r_i = y_i - f(x_i;\theta). \] 残差度量了模型在每个观测点上的偏差，其集合构成了后续优化要约束或最小化的对象。
代价函数：平方误差准则
“最小二乘”指的是选择参数使某种准则函数取到最小值。最经典的准则是平方误差和（SSE, sum of squared errors）： \[ S(\theta)=\sum_{i=1}^n r_i^2=\sum_{i=1}^n (y_i-f(x_i;\theta))^2. \] 平方操作带来两个重要性质：一是避免误差正负抵消，二是对较大的偏差赋予更强惩罚。
拟合目标与统计含义（参数估计视角）
在统计解释中，最小二乘可视为一种参数估计方法。若将误差项视作随机扰动，则残差平方和越小，通常意味着参数所对应的预测越贴近数据，从而在某个概率模型下获得“最优”的估计结果。进一步在合理条件（例如误差分布与独立性）满足时，最小二乘与极大似然估计会出现等价关系。
线性与非线性最小二乘的区分
区分线性/非线性，通常不是看模型对输入是否线性，而是看模型对参数 \(\theta\) 是否线性：
- 线性最小二乘：模型对参数呈线性，如 \(f(x;\beta)=x^\top \beta\)。
- 非线性最小二乘：模型对参数非线性，如 \(f(x;\theta)=\exp(\theta_0+\theta_1 x)\) 或一般非线性函数。
两者都以最小化平方残差为目标，但求解策略与稳定性分析会有所不同。
一元与多元线性最小二乘
简单线性回归的最小二乘解
简单线性回归常设模型为 \[ y_i=\beta_0+\beta_1 x_i+\varepsilon_i. \] 最小二乘要最小化 \[ \sum_{i=1}^n (y_i-\beta_0-\beta_1 x_i)^2. \] 在常见前提下，可得到参数的解析表达（闭式解），体现为截距与斜率由样本的均值、方差与协方差组合而成。直观上，它找的是一条直线，使数据点到直线的“垂直方向误差平方和”达到最小。
多元线性回归的矩阵形式
多元线性回归将模型写成矩阵形式。设设计矩阵 \(X\in \mathbb{R}^{n\times p}\)，参数向量 \(\beta\in \mathbb{R}^p\)，观测向量 \(y\in \mathbb{R}^n\)，则 \[ y=X\beta+\varepsilon. \] 残差为 \(r=y-X\beta\)，代价函数为 \[ S(\beta)=(y-X\beta)^\top (y-X\beta). \] 最小化该二次型即可获得最小二乘估计。
设计矩阵与可辨识性条件
在多元情形中，参数能否唯一确定与设计矩阵的秩有关。若 \(X\) 的列向量线性无关（满列秩），则最小二乘解通常是唯一的；若存在列之间的线性相关（共线性），则可能出现多解或数值上不稳定，需要结合正规化、约束或广义逆（如伪逆）等方法处理。
正则化与病态问题（概念性引入）
当设计矩阵病态（例如条件数很大）时，虽然目标函数形式仍是平方残差，但求解会对数据扰动特别敏感。正则化通过在优化目标中加入对参数大小或结构的惩罚（常见如“缩缩”类思想）来改善数值稳定性并降低过拟合风险。该部分在后续变体章节中可进一步引出加权与约束的思想脉络。
计算方法与数值实现
正态方程（正规方程）与其适用条件
对线性最小二乘问题，令梯度为零可得到正规方程： \[ X^\top X\beta = X^\top y. \] 当 \(X^\top X\) 可逆时，可通过 \[ \hat{\beta}=(X^\top X)^{-1}X^\top y \] 求得解析解。需要注意的是，直接形成 \(X^\top X\) 可能导致数值误差放大，因此在实践中常用更稳定的分解方法。
高斯-约旦消元与直接求解思路
一种实现路线是将正规方程或等价的线性系统通过消元法求解。高斯-约旦消元（或其带主元选择的变体）可以在不直接求逆的情况下得到解。其适用性取决于矩阵规模与数值性质；当矩阵接近奇异时，主元策略和预处理对稳定性影响显著。
QR 分解与数值稳定性
QR 分解将设计矩阵分解为 \(X=QR\)，其中 \(Q\) 正交、\(R\) 上三角。最小二乘可转化为求解与 \(R\) 有关的上三角系统，从而避免求逆和减少误差累积。由于正交分解在浮点运算中稳定性较好，QR 方法在工程计算中常被优先采用。
SVD 与退化/欠定情形下的求解
奇异值分解（SVD）将 \(X\) 分解为 \(X=U\Sigma V^\top\)。它不仅能处理 \(X^\top X\) 不可逆的情况，也能在欠定或退化问题中给出最小范数意义下的最优解。通过观察奇异值大小，还可以判断问题的有效维数，并为截断或阈值策略提供依据。
梯度法与迭代优化（概念与适用场景）
当数据规模很大或模型形式非线性时，闭式解或直接分解可能难以应用。可以将最小化平方残差视为无约束优化问题，通过梯度（或更高级的二阶/近似二阶）方法迭代逼近最优参数。迭代法适用于需要处理大规模特征、流式数据或非线性模型的场景，但需要关注步长选择、收敛速度与局部极值等问题。
与统计推断的联系
正态误差假设下的最小二乘与最大似然
若误差项满足独立同分布的正态分布假设，并且方差为常数，则最小二乘与最大似然估计在形式上等价：最大化似然等价于最小化平方残差的加权和（在同方差情况下权重一致）。因此，“最小化平方误差”不仅是几何上的逼近，也对应了概率模型下的最优性准则。
参数估计的方差含义（估计不确定性）
在给定误差方差与设计矩阵条件下，参数估计并非确定无误。最小二乘估计的协方差矩阵可由残差方差估计与 \(X^\top X\)（或其广义形式）推导得到。其核心含义是：当设计矩阵提供的信息更“充分”（例如列更独立、尺度更合理）时，参数的不确定性通常更小。
残差分析与拟合诊断
残差并不是噪声的“替代品”，而是检验模型假设的线索。常见诊断包括：
- 残差是否呈现明显结构（非随机形态提示模型形式可能不匹配）。
- 残差方差是否随自变量变化（可能暗示异方差）。
- 是否存在离群点或高影响点（可能显著改变参数估计）。
通过残差图、相关性检验和分布检查，可帮助判断拟合质量与假设偏离。
置信区间与假设检验（基础框架）
在较基础的框架中，可以利用参数估计的方差与自由度构造置信区间，并对线性约束或特定系数作假设检验。典型做法依赖于近似正态性或在正态误差假设下的精确推导。需要强调的是，检验结果的可靠性与误差分布、独立性与模型正确性密切相关。
模型评估与误差度量
残差平方和（SSE）与决定系数（R²）
SSE 衡量残差能量大小，数值越小通常表示拟合越贴近数据。然而，SSE受样本规模影响，难以跨数据集直接比较。决定系数 \(R^2\) 则以“解释的变异占总变异的比例”形式给出尺度更直观的度量。其定义依赖于总平方和，并与残差平方和之间的关系构成评分逻辑。
均方误差（MSE）与均方根误差（RMSE）
MSE 将 SSE 以样本数归一化： \[ \text{MSE}=\frac{1}{n}\sum_{i=1}^n r_i^2. \] RMSE 进一步取平方根，使误差量纲与原始目标变量一致，便于解释为“典型预测误差”的量级。若进行误差比较或调参与超参选择，MSE/RMSE常被用作优化或评估指标。
交叉验证与泛化性能评估
单纯依赖训练误差可能掩盖过拟合。交叉验证通过将数据划分为训练与验证子集，重复评估模型在未见数据上的误差，从而更贴近泛化性能。常见变体包括留一法、K折交叉验证等，适用于样本量有限或需要稳健估计时。
过拟合与模型复杂度权衡（概念）
过拟合指模型在训练集表现良好但在新数据上退化。最小二乘本身并不必然避免过拟合，尤其当模型复杂度（例如高阶多项式或大量特征）增加时。通过正则化、约束、简化模型或使用交叉验证进行选择，可以在拟合精度与泛化能力之间取得折中。
扩展与变体
加权最小二乘（WLS）的思想
当不同观测点的误差方差不相同，或噪声强度随样本变化时，可对残差平方项施加权重。加权最小二乘通常将目标写为 \[ \sum_{i=1}^n w_i (y_i-f(x_i;\theta))^2, \] 其中 \(w_i\) 与误差方差的倒数相关。这样做的直观含义是：不确定性更大的观测对参数估计的影响更小。
广义最小二乘（GLS）与相关误差
如果误差不仅存在不同方差，还可能彼此相关，则需要用协方差矩阵来进行更一般的加权。广义最小二乘通过将误差协方差结构纳入目标函数，使得在更复杂噪声模型下获得统计意义上的最优估计。GLS常被视为WLS在“相关误差”情形下的推广。
鲁棒最小二乘（如绝对误差/Huber 等的对照）
经典最小二乘对离群点较敏感，因为平方惩罚对大残差增长迅速。鲁棒最小二乘通过改变损失函数的形状来降低这种敏感性。例如绝对误差对应的准则对异常值更不“爆炸”；Huber 损失在小残差近似二次、大残差近似线性，从而在效率与鲁棒性之间折中。此类方法常用于数据中含有异常观测或噪声分布偏离正态假设的场景。
约束最小二乘与投影解法
有时参数需要满足额外条件，例如线性约束或参数边界。约束最小二乘将优化问题改写为在可行集合内寻找最小残差解。在线性约束或特定结构下，解可通过投影几何或拉格朗日乘子法得到。该思想也与“在子空间内寻找最佳逼近”相互呼应。
例子与直观理解
用几何视角理解最小二乘投影
在线性模型 \(y=X\beta+\varepsilon\) 中，最小二乘估计可以解释为：在向量空间中，将观测向量 \(y\) 正交投影到由 \(X\) 的列空间所张成的子空间上。投影对应的向量就是模型能够“解释”的部分，而残差则与该子空间正交。该视角使得最小二乘的最优性更易理解，也解释了为什么矩阵分解（QR、SVD）与数值稳定性高度相关。
线性回归的一个“从数据到直线”的流程示例
一个常见流程是：收集样本 \((x_i,y_i)\)，构造设计矩阵（对简单线性回归通常包含常数项与 \(x_i\)），计算最小二乘估计得到 \(\hat{\beta}_0,\hat{\beta}_1\)，随后生成预测 \(\hat{y}_i=\hat{\beta}_0+\hat{\beta}_1 x_i\)。最后用残差与误差指标（如RMSE、\(R^2\)）评估拟合效果，并可进行必要的诊断检验与模型选择。
含噪数据拟合的误差来源讨论
拟合误差可能来自多种因素：
- 模型形式偏差：真实关系与所选函数族不一致。
- 随机噪声：测量或环境扰动导致 \(y\) 偏离预测。
- 数值误差：求解过程中的浮点运算与病态性影响。
- 数据质量问题：离群点、缺失值处理方式、变量尺度差异等。
区分这些来源有助于决定是改换模型、重做数据处理还是采用更稳健的求解策略。
常见误区（如尺度、共线性、外点）与处理思路
常见问题包括：
- 尺度不当：特征量纲差异大时会影响数值条件，宜进行标准化或缩放。
- 共线性：多特征高度相关导致参数不稳定，可通过变量筛选、降维或正则化缓解。
- 外点影响：平方损失对异常点敏感，可考虑鲁棒损失、异常检测或交叉验证下的模型对比。
在实践中，这些问题往往不是“算不出来”，而是“算得出来但含义不可靠”，需要结合诊断与策略调整。