线性回归 - Ciallo Wiki

线性回归的基本定义

模型形式：因变量、特征与误差项

线性回归以“因变量”与若干“自变量（也称特征）”之间的关系为研究对象。设因变量为 \(y\)，自变量组成的向量为 \(x=(x_1,\dots,x_p)\)，则典型模型写作 \[ y=\beta_0+\beta_1x_1+\cdots+\beta_px_p+\varepsilon. \] 其中 \(\beta_0,\beta_1,\dots,\beta_p\) 为待估计参数，\(\varepsilon\) 表示未被模型解释的随机扰动。模型的核心是假设在给定自变量后，条件期望（或系统分量）可用线性组合刻画。

当把截距项并入统一形式时，也常将常数特征 \(x_0=1\) 与系数 \(\beta_0\) 合并，形成更紧凑的矩阵表达，从而便于后续推导与计算。

线性性与可解释性

“线性”指的是关于参数的线性：模型对 \(\beta\) 是一次形式，而不要求对输入特征的关系是线性的。只要把特征做成相应的变换（例如对数、交互项等）并仍保持模型对参数线性，就仍可归入线性回归框架。

可解释性体现在：回归系数描述了在其他变量不变时，某个特征对因变量的边际线性影响方向与强度。需要注意的是，这种解释依赖于特征尺度、共线结构以及误差建模是否合理。

目标：估计、预测与解释

线性回归常见任务包括：

参数估计：根据观测数据估计 \(\beta\)，使得模型能最好地贴合数据。
预测：对新样本给出 \( \hat{y} \) 或其分布意义下的预测量。
解释与不确定性评估：不仅给出系数点估计，还通过标准误、区间估计与检验来刻画估计的可信度。

不同任务对应的评价指标与推断工具可能不同：例如预测更关注泛化误差，解释更关注系数及其显著性、稳定性。

统计与数学基础

参数向量与设计矩阵

对样本 \(\{(x^{(i)},y^{(i)})\}_{i=1}^n\)，可将特征向量堆叠成设计矩阵 \(X\in\mathbb{R}^{n\times p}\)，将参数堆叠为参数向量 \(\beta\in\mathbb{R}^{p}\)，因变量堆叠为 \(y\in\mathbb{R}^{n}\)。同时，模型写为 \[ y = X\beta + \varepsilon. \] 若包含截距，则通常在 \(X\) 中加入一列全为 1 的特征，从而把 \(\beta_0\) 融入 \(\beta\)。

这种矩阵化表达将“找一组系数”转化为“在向量空间中找最合适的线性组合”，为最小二乘等方法提供直接语言。

向量空间视角：投影与最小二乘

在向量空间中，\(X\beta\) 的所有可能取值构成 \(X\) 的列空间（或其张成空间）。最小二乘法可理解为：用模型的线性子空间去逼近观测向量 \(y\)。其结果是对 \(y\) 在该子空间上的正交投影。

形式化地说，令 \( \hat{y}=X\hat{\beta}\)，则最小二乘目标等价于令残差 \(e=y-\hat{y}\) 与列空间正交，即 \[ X^\top (y-X\hat{\beta})=0. \] 这一投影观点使得许多理论结论（例如误差分解、几何解释）变得直观。

误差假设与概率表述

为了进行统计推断，需要对误差项给出一定的概率或矩条件。常见经典设定是：

\(E[\varepsilon]=0\)（误差均值为零）；
\(\operatorname{Var}(\varepsilon)=\sigma^2 I\)（同方差且不相关的噪声）；
在更强条件下常假设 \(\varepsilon\) 服从正态分布，从而使得参数的有限样本分布与检验形式更为简洁。

当这些条件被违反（例如存在异方差或相关结构）时，仍可使用线性模型的框架，但推断与估计可能需要更合适的修正（如稳健标准误或加权最小二乘）。

常见损失函数：平方误差与对应含义

最经典的线性回归对应的损失是平方误差损失： \[ \min_\beta \sum_{i=1}^n (y^{(i)}-x^{(i)\top}\beta)^2. \] 平方误差具有良好的数学性质：它与正态误差假设下的最大似然估计相联系，也使得目标函数光滑且可导，从而常能得到闭式解或稳定的数值算法。

同时，不同损失函数会对应不同噪声形态下的合理性。例如若存在离群值较多的情况，平方损失可能对极端误差更敏感，需要改用更鲁棒的准则（虽然这已超出“经典 OLS”的范围，但可作为概念对照）。

经典最小二乘法（OLS）

正常方程与闭式解

在最小二乘框架下，令残差平方和为 \[

S(\beta) = \\|y-X\beta\\|^2.

\] 对 \(\beta\) 求导并令梯度为零，可得正常方程： \[ X^\top X\hat{\beta}=X^\top y. \] 若 \(X^\top X\) 可逆，则存在闭式解 \[ \hat{\beta} = (X^\top X)^{-1}X^\top y. \] 该解给出了参数的最小二乘估计量。

当 \(X^\top X\) 不可逆时，闭式表达可能失效，需要使用广义逆或基于数值线性代数的求解策略（见后文）。

矩阵形式的估计量

在可逆情形下，\(\hat{\beta}\) 是 \(y\) 的线性函数，因此也可以写成矩阵算子形式。进一步，拟合值满足 \[ \hat{y}=X\hat{\beta}=Hy, \] 其中 \(H=X(X^\top X)^{-1}X^\top\) 被称为帽子矩阵（hat matrix）。该矩阵具有幂等与对称等性质（在经典设定下），反映了几何投影的本质。

帽子矩阵的作用在于：它能直接刻画拟合值与原始观测之间的线性关系，并为残差诊断（如杠杆值、Cook 距离）提供基础计算。

数值实现要点：可逆性与广义逆

实际数据中，常见问题包括：特征高度相关导致 \(X^\top X\) 接近奇异，或样本维度与特征维度关系使得矩阵不可逆。此时直接使用 \((X^\top X)^{-1}\) 可能不稳定。

更稳健的做法通常基于以下思路：

使用 奇异值分解（SVD） 或 QR 分解 来求解最小二乘问题；
在理论层面使用 广义逆（如 Moore–Penrose 广义逆） 表达解：当不可逆时仍可选取使误差平方和最小的参数集中的一个代表；
在数值层面避免显式求逆，改用线性方程组求解器以降低误差放大。

这些实践使得 OLS 在工程环境中更可靠。

标准化与偏置项的处理（截距）

是否对特征做标准化会影响数值稳定性与系数尺度。若特征的量纲差异很大，未标准化可能导致算法在求解与正则化时表现不佳。标准化通常不会改变预测精度的“理论最优解”（在特定条件下），但会改变系数的可比性与数值条件。

截距项的处理常见于两种方式：

在模型中显式加入一列全为 1 的特征，使 \(\beta_0\) 可被估计；
若在数据预处理中对 \(y\) 与各特征做中心化，某些情况下可以简化截距的估计形式（但解释与流程需要同步考虑）。

推断与评估

残差分析与拟合优度指标

残差定义为 \(e=y-\hat{y}\)。经典诊断通常从拟合优度指标入手：

残差平方和（SSE）反映未解释的波动；
决定系数 \(R^2\) 描述模型对总变异的解释比例（其具体定义依赖于以均值为基准的总平方和分解）。

需要强调：\(R^2\) 主要度量“解释程度”，不能直接等同于“预测能力”，尤其当模型复杂度增加或样本特征分布与未来数据差异较大时。

方差估计与回归系数的标准误

在经典假设下，噪声方差 \(\sigma^2\) 通常用残差估计。常见做法是用 \[

\hat{\sigma}^2 = \frac{\\|y-\hat{y}\\|^2}{n-p}

\] （当模型包含截距并入参数计数时，\(p\) 为参数个数）来进行方差估计。随后可得到回归系数的标准误，其核心形式与 \((X^\top X)^{-1}\)（或其广义版本）相关，并可据此构造区间与检验。

标准误越小，表示估计对噪声更不敏感，推断结论通常越有统计力度。

假设检验：t 检验、F 检验

在线性回归中，常用的假设检验包括：

t 检验：检验单个系数（或线性组合）的显著性，例如 \(H_0:\beta_j=0\)；
F 检验：检验多个系数同时为零的约束，例如比较全模型与约束模型的拟合差异。

在经典正态误差假设下，这些检验统计量常可通过 \(t\) 或 \(F\) 分布来获得临界值，从而进行显著性判断。若误差结构不满足假设，则需要用更合适的推断方法（如稳健标准误）替代依赖严格分布形式的结论。

置信区间与预测区间的差异

对给定自变量 \(x_\*\)，线性回归可给出两类区间：

置信区间（confidence interval）：针对条件期望 \(E[y\mid x_\*]\) 的估计不确定性；
预测区间（prediction interval）：针对单个未来观测 \(y_\*\) 的不确定性。

预测区间通常比置信区间更宽，因为它不仅包含对均值估计的误差，也包含未来个体误差的方差来源。该差异在实践中尤为重要：做预测时应使用预测区间来反映“单次结果”的波动范围。

诊断与常见问题

多重共线性：识别与应对思路

多重共线性指多个自变量之间存在较强线性相关。它不会必然降低模型的拟合度（例如 \(R^2\) 仍可能较高），但会使得系数估计不够稳定，导致标准误变大、t 检验不易显著。

识别手段包括查看特征相关结构、方差膨胀因子（VIF）等；应对思路可能包含特征选择、重新参数化、合并高度相关变量、或采用带正则化的回归方法（见扩展模型）。

异方差性与稳健推断

异方差性是指误差方差随自变量水平或样本而变化，违反了经典同方差假设。其典型后果是：最小二乘仍可得到一致的均值估计（在一定条件下），但标准误与检验可能失准。

稳健推断通常通过调整标准误来修正不一致性，使得置信区间与检验在异方差存在时仍保持更合理的覆盖性质。若异方差结构可建模，还可考虑加权最小二乘等方法。

自相关与时间序列场景的注意事项

当数据具有时间顺序或相邻观测受共同扰动影响时，误差项可能出现相关性（自相关）。这会破坏“误差不相关”的经典条件，导致推断量（尤其标准误、检验）偏离。

处理方式一般涉及：采用适当的时间序列建模框架、在回归中加入滞后项或结构化误差形式、或使用专门针对相关误差的稳健推断。在线性回归的直观层面，应避免把时间相关数据简单当作独立同分布样本来推断。

影响点与离群点（杠杆值、Cook 距离）

离群点会导致模型拟合被少数样本“拉着走”。诊断影响点常用的概念包括：

杠杆值：衡量某个样本在自变量空间中与其他样本分布的“偏离程度”；
Cook 距离：评估移除某个样本后参数估计变化的幅度。

高杠杆但不一定高影响；真正需要关注的是“杠杆+残差较大”组合带来的潜在模型扭曲。实际操作中还要结合数据生成机制判断异常点是测量错误、真实极端情况还是结构性偏差。

模型误设：非线性残差与遗漏变量

模型误设常来自两个方面：

函数形式错误：真实关系可能对自变量并非线性。表现为残差呈现系统性模式（例如随某特征单调变化、弯曲形态等），而非随机散布。
遗漏关键变量：若存在未包含在模型中的影响因素且与已包含特征相关，就可能引入偏差。此时残差可能表现出与某些特征相关的结构。

诊断通常依赖残差图、交互与非线性特征的检验、以及领域知识。修正路径可能包括加入非线性项、交互项，或引入缺失的解释变量（同时避免引入大量不可解释的噪声）。

扩展模型与变体

正则化线性回归：Ridge、Lasso（概念层面）

当自变量维度较高、特征共线性较强或需要控制模型复杂度时，常用正则化线性回归。概念上：

Ridge 回归在损失中加入对参数大小的惩罚，使系数更平滑，通常能缓解共线性导致的方差膨胀；
Lasso 回归加入对参数绝对值的惩罚，可能促使部分系数为零，从而实现变量筛选的效果。

这些方法仍保持“线性模型对参数线性”的结构，但通过额外的偏差—方差权衡提高泛化表现。严格公式与求解细节可在更进一步的专题中展开。

加权最小二乘（WLS）

当误差方差不等（异方差）或观测可靠度不同，可以使用加权最小二乘。其思想是：对误差方差更大（噪声更强）的观测赋予更小权重，从而让拟合更关注可靠数据。

在正确权重与误差结构匹配时，加权法能提高估计效率，并使推断更符合理论前提。权重的选取通常依赖对方差结构的先验假设或从数据中估计。

主成分回归与偏最小二乘（PCA/PPLS 思路）

当特征存在强相关性且希望降低维度时，可将原始特征空间替换为更稳定的低维表示。主成分回归使用特征的主成分作为新的自变量，再进行线性回归；偏最小二乘（PLS）则在找低维成分时兼顾解释 \(y\) 的方向，使得成分更直接与目标相关。

PCA/PPLS 的共同点是：通过降维减少噪声与共线性的影响，但同时需要防止过度简化导致的欠拟合。

广义线性模型的关系（从“线性回归”到更一般）

“线性回归”针对的是线性均值结构（在经典设置下通常配以正态误差）。而更一般的广义线性模型（GLM）允许：

因变量来自不同类型的分布（例如二项、泊松等）；
系统部分仍与自变量的线性组合相关，但通过链接函数连接到期望值。

因此，线性回归可看作 GLM 在特定分布与链接函数选择下的一个经典特例。两者共享“线性预测器”的思想，但统计建模的适用范围更广。

现实建模流程（方法论）

特征工程：构造、选择与交叉验证

现实建模往往从特征工程开始：

构造：加入可能捕捉关系的变换（如对数、交互项、多项式项）；
选择：根据相关性、稳定性或业务约束筛掉冗余特征；
验证：用交叉验证评估不同特征集合与建模方案的效果。

特征工程的关键是避免“只看训练集表现”的偶然性，并确保变换逻辑在训练与预测阶段一致。

训练/验证/测试划分与数据泄漏

为得到对泛化性能更可信的评估，需要把数据划分为训练集、验证集和测试集。训练集用于拟合模型，验证集用于选择超参数与模型形式，测试集用于最终评估。

数据泄漏指信息在不该进入训练阶段的环节被间接使用，例如在全体数据上计算标准化参数、用测试集统计量参与特征构造、或时间上“未来信息”进入特征。泄漏会导致评估过于乐观，掩盖模型真实能力。

超参数与模型选择准则

线性回归的经典 OLS 只有较少超参数，但扩展模型（正则化、加权策略、降维维数等）通常需要调参。模型选择准则常见包括：

验证集误差或交叉验证均值；
面向预测任务的指标（如均方误差、绝对误差等）；
面向解释稳定性的补充考量（例如系数波动、诊断是否恶化）。

选择准则应与最终用途匹配：解释任务与预测任务对“好模型”的侧重点并不完全相同。

结果报告：系数、指标与可复现性说明

一份合格的结果报告通常包含：

回归系数及其含义（单位、尺度和处理方式，例如是否标准化）；
拟合与预测相关指标（训练/验证/测试分别是多少，如何计算）；
关键假设的检查结果（如残差结构、共线性情况）；
可复现性信息：数据划分方式、特征处理流程、随机种子（若涉及随机过程）、软件版本或实现方式。

报告的目标是让他人能复现同样的建模路径，并判断结论的稳健性。

线性回归的“梗文化”与常见误区（轻量）

“相关不等于因果”在回归语境中的正确用法

在线性回归中，系数的大小常被误读为因果效应。更严谨的说法是：在模型正确设定且满足足够的识别条件时，系数解释才可能接近因果含义；否则，回归更直接给出的是“在控制了模型包含的变量后，条件关联的方向与强度”。一句话总结：回归能告诉你“相关结构”，但因果需要额外证据与设计。

过度拟合与“看起来很会但其实在记忆”

当模型复杂度相对数据规模过高，或特征包含过多灵活变换时，模型可能在训练集上表现很好，但在测试集上明显变差。这种“记忆训练样本细节”的现象就常被形容为看起来很厉害，其实是在背题。用验证集/交叉验证与合适的正则化可以降低这种风险。

线性只是近似：何时该换模型

线性回归适合“近似线性”的情形；若真实关系强烈弯曲、存在阈值或复杂交互，仅靠增加少量线性项可能仍难以贴合。此时应考虑：

引入非线性特征或交互项；
换用更通用的模型族（仍保持可解释性时可以选择合适的替代方案）。

判断信号可来自残差图、交叉验证表现、以及对领域机理的合理性评估。

解释系数的边界：尺度、单位与共线性影响

系数的“可解释”往往受到尺度与单位影响：特征的单位变化会直接改变系数数值大小。共线性还会让某些系数在统计上不稳定，导致解释看似“很显著/不显著”但其实对数据扰动敏感。

因此，解释系数时通常要同时参考：标准误与区间、共线性诊断，以及特征是否以一致方式处理（如是否标准化）。