1 基本概念与数学基础
1.1 线性关系的定义
线性关系是指两个或以上变量之间呈现比例变化的关系，在数学上表现为一次函数形式。对于输入特征 \(X = (x_1, x_2, \ldots, x_p)\) 与目标变量 \(y\)，线性关系可写为 \(y = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p\)，其中 \(\beta_0\) 为截距，\(\beta_j\) 为特征 \(x_j\) 的系数。这里的“线性”指参数 \(\beta\) 的线性组合，而非特征本身必须是一次的——例如允许出现 \(x_1^2\) 或 \(\log x_2\) 等变换，只要模型对参数是线性的，仍属于线性模型范畴。
1.2 最小二乘法原理
最小二乘法（Ordinary Least Squares, OLS）是线性模型最经典的参数估计方法。其目标是使预测值 \(\hat{y}_i\) 与观测值 \(y_i\) 之间的平方误差和最小化，即： \[ \min_{\beta} \sum_{i=1}^{n} (y_i - \mathbf{x}_i^{\top} \beta)^2. \] 通过求解该二次优化问题，可以得到参数 \(\beta\) 的闭式解（在矩阵形式下为 \(\hat{\beta} = (X^{\top}X)^{-1}X^{\top}y\)）。这一原理构成了线性模型估计的理论基石。
1.3 模型假设（高斯-马尔可夫定理）
高斯-马尔可夫定理指出，在满足以下假设时，OLS估计量是最优线性无偏估计（BLUE），即方差最小。
1.3.1 线性性
模型在参数上是线性的，即 \(y = X\beta + \varepsilon\)，其中 \(\varepsilon\) 为误差项。这一假设是模型的基本设定。
1.3.2 同方差性
误差项 \(\varepsilon_i\) 的方差在所有观测中相同，即 \(\operatorname{Var}(\varepsilon_i) = \sigma^2\)（常数）。若违反该假设，则存在异方差性，可能导致标准误估计偏误。
1.3.3 误差独立性
不同观测的误差项之间相互独立，即 \(\operatorname{Cov}(\varepsilon_i, \varepsilon_j) = 0\) 对于 \(i \neq j\)。时间序列或空间数据中常违反此假设，出现自相关。
1.3.4 正态性（可选假设）
误差项服从正态分布 \(\varepsilon \sim N(0, \sigma^2)\)。该假设并非BLUE的必要条件，但为假设检验和置信区间提供了精确的抽样分布依据。当样本量足够大时，中心极限定理可弱化此要求。
2 常见线性模型类型
2.1 简单线性回归
2.1.1 单变量情形
只有一个预测变量 \(x\) 的线性回归，模型为 \(y = \beta_0 + \beta_1 x + \varepsilon\)。它在二维平面上表现为一条直线，是最直观的回归形式。
2.1.2 参数估计与解释
斜率 \(\beta_1\) 表示 \(x\) 每增加一个单位时 \(y\) 的平均变化量；截距 \(\beta_0\) 是当 \(x=0\) 时的 \(y\) 期望值。参数估计通常通过最小二乘法得到，其标准误可由残差方差推断。
2.2 多元线性回归
2.2.1 矩阵形式的表示
当有 \(p\) 个预测变量时，模型可写为 \(y = X\beta + \varepsilon\)，其中 \(X\) 为 \(n \times (p+1)\) 的设计矩阵（含截距列），\(\beta\) 为参数向量。OLS解为 \(\hat{\beta} = (X^{\top}X)^{-1}X^{\top}y\)，前提是 \(X^{\top}X\) 可逆。
2.2.2 多重共线性问题
当预测变量间存在高度线性相关时，\(X^{\top}X\) 接近奇异，导致估计量方差膨胀，系数不稳定甚至符号反常。诊断常用方差膨胀因子（VIF），处理方法包括剔除变量、主成分回归或引入正则化。
2.3 广义线性模型（GLM）
2.3.1 链接函数与指数族分布
GLM将线性模型扩展到非正态响应变量。其核心三要素：随机成分（响应变量服从指数族分布，如二项、泊松）、系统成分（线性预测器 \(\eta = X\beta\)）、链接函数 \(g(\mu) = \eta\)，将均值与线性预测器连接起来。
2.3.2 Logistic回归（二分类）
用于二分类问题，链接函数为 logit：\(\log(\frac{\pi}{1-\pi}) = X\beta\)，其中 \(\pi = P(y=1)\)。参数估计采用极大似然法（无闭式解），输出概率值，广泛应用于医学、信用评分等领域。
2.3.3 泊松回归（计数数据）
用于计数响应变量（如事故次数、网页点击量），链接函数为 \(\log(\mu) = X\beta\)，假设 \(y \sim \text{Poisson}(\mu)\)。当数据过度离散（方差超过均值）时，常引入负二项回归作为替代。
2.4 线性判别分析（LDA）
LDA是一种线性分类方法，假设各类别的协方差矩阵相等，并基于贝叶斯定理推导出线性判别函数。它通过最大化类间散布与类内散布之比，找到最优投影方向。适用于多分类且特征服从多元正态分布的情形。
2.5 正则化线性模型
2.5.1 岭回归
加入L2惩罚：\(\min \sum (y_i - \hat{y}_i)^2 + \lambda \sum \beta_j^2\)。迫使参数收缩但不会为零，尤其适用于特征数量多于样本的情形。
2.5.2 Lasso回归
| 加入L1惩罚：\(\min \sum (y_i - \hat{y}_i)^2 + \lambda \sum | \beta_j | \)。能够将某些系数精确压缩为零，实现特征选择。在稀疏场景中表现优异，但无法处理分组变量。 |
|---|
2.5.3 Elastic Net
| 结合L1和L2惩罚：\(\min \sum (y_i - \hat{y}_i)^2 + \lambda_1 \sum | \beta_j | + \lambda_2 \sum \beta_j^2\)。兼具岭回归的稳定性与Lasso的特征选择能力，尤其适合高维数据或相关特征群。 |
|---|
3 模型拟合与评估
3.1 参数估计方法
3.1.1 普通最小二乘法（OLS）
如上所述，OLS通过最小化残差平方和得到闭式解，计算效率高，适用于误差为正态或大样本情形。
3.1.2 极大似然估计（MLE）
在假设误差分布（如正态）下，极大化似然函数得到参数估计。对于正态线性模型，MLE与OLS等价；但对于GLM等非线性链接情形，MLE需通过迭代加权最小二乘法（IRLS）求解。
3.2 拟合优度指标
3.2.1 R²与调整R²
R²（决定系数）衡量模型解释的变异比例：\(R^2 = 1 - \frac{\text{SSE}}{\text{SST}}\)。它随变量增多而单调增加，调整R²通过惩罚额外变量进行修正：\(\bar{R}^2 = 1 - \frac{(1-R^2)(n-1)}{n-p-1}\)。
3.2.2 残差分析
残差（观测值与预测值之差）应随机分布在零附近。常用诊断图包括残差vs拟合值图（检查异方差和线性）、Q-Q图（检查正态性）、以及残差vs杠杆值图（识别异常点）。
3.2.3 AIC与BIC
用于模型选择的信息准则。AIC（赤池信息准则）为 \(-2\log L + 2k\)，BIC（贝叶斯信息准则）为 \(-2\log L + k\log n\)，其中 \(k\) 为参数个数。两者均惩罚模型复杂度，BIC对大样本施加更强惩罚。
3.3 假设检验
3.3.1 F检验（整体显著性）
检验所有系数（除截距外）是否同时为零，原假设 \(H_0: \beta_1 = \cdots = \beta_p = 0\)。检验统计量 \(F = \frac{(\text{SST} - \text{SSE})/p}{\text{SSE}/(n-p-1)}\) 服从F分布。
3.3.2 t检验（系数显著性）
对单个系数 \(\beta_j\) 检验 \(H_0: \beta_j = 0\)，统计量 \(t = \hat{\beta}_j / \text{SE}(\hat{\beta}_j)\) 服从t分布（自由度为 \(n-p-1\)）。
3.3.3 方差膨胀因子（VIF）
VIF用于诊断多重共线性：\(\text{VIF}_j = 1/(1-R_j^2)\)，其中 \(R_j^2\) 是将第 \(j\) 个变量作为因变量对其他变量回归的R²。通常认为VIF > 10表示严重共线性。
3.4 交叉验证与过拟合防范
过拟合指模型在训练数据上表现极好但泛化能力差。交叉验证（如k折交叉验证）通过将数据分块轮流作为验证集来评估模型性能。正则化、逐步回归和早停（在不使用MCMC的简单线性模型中）也是常用防范手段。
4 线性模型的变体与扩展
4.1 方差分析（ANOVA）作为线性模型
ANOVA本质上是线性模型的特殊化，其中预测变量为分类变量（处理组）。通过将组均值差异转化为系数显著性检验，ANOVA可写为 \(y_{ij} = \mu + \alpha_i + \varepsilon_{ij}\)，即线性模型加入虚拟变量。
4.2 协方差分析（ANCOVA）
在ANOVA基础上加入连续协变量，模型为 \(y = \mu + \alpha_i + \beta x + \varepsilon\)，用于控制混杂因素，提高检验功效。
4.3 时间序列中的线性模型（ARIMA的线性部分）
ARIMA模型（自回归移动平均模型）中的自回归（AR）部分本身就是线性回归：\(y_t = \phi_1 y_{t-1} + \cdots + \phi_p y_{t-p} + \varepsilon_t\)，滑动平均（MA）部分也是过去误差的线性组合。不过完整ARIMA还涉及差分和移动平均的非线性部分。
4.4 线性混合效应模型（含随机效应）
当数据存在分组结构（如学生嵌套于班级），可引入随机效应：\(y = X\beta + Z\gamma + \varepsilon\)，其中 \(\gamma \sim N(0, G)\) 为随机效应，\(\varepsilon \sim N(0, R)\)。该模型平衡了固定效应和随机变异，广泛应用于纵向数据。
4.5 广义加性模型（GAM）与线性基的关系
GAM将线性预测器扩展为光滑函数的和：\(g(\mu) = \beta_0 + f_1(x_1) + \cdots + f_p(x_p)\)，其中 \(f_j\) 可用样条基函数线性组合表示（如B-spline），故本质上仍可视为线性模型在基扩展下的应用。它比纯线性模型更灵活，同时保留一定可解释性。
5 应用场景与经典案例
5.1 经济学中的需求预测
经济学家常用多元线性回归预测商品需求量，自变量包括价格、收入、广告支出等。例如，通过历史数据估计需求价格弹性（\(\beta_1\)），可辅助定价决策。尽管现实需求曲线常非线性，线性模型因透明易懂仍是入门首选。
5.2 生物统计中的剂量-反应关系
在毒理学中，使用Logistic回归（GLM）分析不同毒物剂量下实验动物的死亡率，得到半数致死剂量（LD50）。该模型假设剂量与反应概率呈逻辑曲线，是药物研发的标准工具。
5.3 机器学习中的基线模型
线性回归和Logistic回归常作为分类和回归任务的基线。例如，房价预测的第一版模型往往就是线性回归，用以与非线性的随机森林、神经网络对比，评估特征工程和数据预处理的效果。
5.4 社交媒体中的“点赞数预测”——一种不那么严肃的线性示例
假设某网红试图预测其新帖的点赞数，模型为 \(\text{点赞数} = \beta_0 + \beta_1 \times \text{发帖时间} + \beta_2 \times \text{表情包密度} + \beta_3 \times \text{是否@了流量明星} + \varepsilon\)。结果发现“表情包密度”系数显著为正，而“发帖时间（凌晨3点）”系数显著为负——模型虽无法解释“为何用户偏爱狗头表情包”，但至少给出了一个可计算的方向。
6 局限性、争议与趣谈
6.1 线性假设的“暴政”：为什么现实总爱非线性
线性模型假设变量间关系为直线，但现实中温度与冰淇淋销量呈现倒U形（太冷太热都不想吃），或者广告投入与销售额存在饱和效应。强行套用线性模型可能导致重大偏差，这也是神经网络等非线性方法崛起的原因。
6.2 异常值的报复：稳健统计的崛起
一个极端值足以拉偏最小二乘估计量，使回归线像“被拽住的橡皮筋”。为了对抗此类报复，人们开发了稳健回归（如M估计、Theil-Sen估计）及基于中位数的替代方法。还有一句流传甚广的调侃：“如果你被异常值欺负了，不要哭，去学稳健统计。”
6.3 当线性模型遇上无界数据：一个关于“过拟合”的冷笑话
一位统计学家用线性模型拟合一个完美直线上的10个点，R²=1，他兴奋地说“这就是真理！”结果第11个点突然偏离——原来前10个点只是随机巧合。他感叹道：“上帝的玩笑叫做过拟合，而线性模型的枕头叫做奥卡姆剃刀。”故事提醒人们：拟合直线容易，拟合现实很难。
6.4 “所有模型都是错的，但有些是有用的”——乔治·博克斯
这句话由英国统计学家乔治·博克斯提出，堪称线性模型的哲学墓志铭。线性模型虽然无法捕捉所有复杂关系，但在解释性、计算速度和稳定性上有着不可替代的价值。正如烤焦的面包可能更好消化，错误的模型有时也能喂饱数据分析的饥饿。