1 GLM 的基本概念

1.1 GLM 的定义与建模思想

广义线性模型（Generalized Linear Model，GLM）是一类统计建模框架，用于刻画“响应变量”与“自变量”之间的关系。与普通线性回归把响应当作正态、误差方差固定不同，GLM 允许响应变量来自更广泛的分布类型（例如二项、泊松、Gamma 等）。其基本思路是：先对响应分布作出假设（属于指数族的某一成员），再用链接函数将“线性预测子”的结果映射到响应均值的尺度上，从而把多种数据类型纳入同一套建模范式。

1.2 与线性回归的关系（“从线性到广义”）

线性回归的经典形式可视为 GLM 的特例。当响应服从正态分布且使用恒等链接函数时，GLM 退化为线性回归。更一般地，线性回归在结构上对应于“系统成分是线性表达，随机成分给出误差/响应的分布，链接成分则让线性预测子与均值一致”。GLM 的“广义”主要体现在：响应分布不必局限于正态，且均值不必与线性预测子直接相等。

1.3 指数族与 GLM 的适用范围

GLM 通常建立在指数族（exponential family）分布假设上。指数族的优势在于其数学结构统一：均值、方差与自然参数之间存在明确关系，使得估计与推断可以采用相似的算法框架。因而，当研究目标涉及的响应分布能够合理落入指数族（或近似落入）时，GLM 往往是可行且易于实现的选择。

2 GLM 的三大组成部分

2.1 随机成分：响应分布假设

随机成分规定响应变量的分布形式。通常写作：给定自变量后，响应 \(Y\) 的条件分布属于某个指数族成员，并由参数控制其位置与离散程度。该假设决定了均值如何进入分布结构，也影响方差如何随均值变化。

2.2 系统成分：线性预测子

系统成分对应自变量的线性组合，记为线性预测子（linear predictor）： \[ \eta = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p. \] 它是“可解释的解释变量效应”载体：每个系数刻画自变量变化对线性尺度的影响。

2.3 链接成分：链接函数

链接函数把线性预测子 \(\eta\) 与响应均值 \(\mu = E(Y\mid X)\) 联系起来。以一般形式表示为： \[ g(\mu) = \eta. \] 其中 \(g(\cdot)\) 为链接函数。选择不同的链接函数，会改变“系数的解释尺度”，同时也会影响数值估计的难易程度与模型适配性。

2.4 线性预测子与均值函数的对应关系

从 \(g(\mu)=\eta\) 可写出均值关于线性预测子的函数形式： \[ \mu = g^{-1}(\eta). \] 这意味着系统成分并非直接对应响应本身，而是先经过映射得到均值。该关系是理解 GLM 预测输出的关键：同一组自变量系数在不同链接下会生成不同的均值曲线形状。

3 指数族表述与常见分布

3.1 指数族通用形式

指数族分布通常可写为统一形式： \[ f(y\mid \theta) = \exp\left\{\frac{y\theta - b(\theta)}{a(\phi)} + c(y,\phi)\right\}, \] 其中 \(\theta\) 为自然参数，\(\phi\) 为离散参数（不少情形下可取常数），\(a(\cdot), b(\cdot), c(\cdot)\) 为分布特定函数。GLM 的关键在于：均值与方差可以通过这些函数的导数得到，从而使得估计与检验有较好的解析结构。

3.2 常见响应分布及其含义

3.2.1 二项分布（如伯努利/二项响应）

当响应是“成功/失败”或“在给定次数中成功的数量”时，可用二项分布建模。其均值 \(\mu\) 对应成功的概率（或每次成功的期望比例）。在二分类场景下，模型往往输出的是成功概率的估计，而不是直接输出概率之外的线性值。

3.2.2 泊松分布（计数数据）

当响应是计数、且事件发生的频率在建模尺度上表现出“平均数与方差同阶”的特征时，常选泊松分布。泊松模型的核心是其均值与方差的内在关系：在标准情形下方差与均值相等（或在参数化后呈现成比例结构）。

3.2.3 Gamma 分布（正值且右偏）

Gamma 分布常用于刻画正值连续变量，且数据呈现右偏（右侧尾部较长）。在该设定下，响应不为负，同时波动程度往往会随均值变化而变化，因此 Gamma 回归在经济、时长、费用等领域较常见。

3.3 从分布到方差结构的理解

GLM 的分布假设不仅决定均值形式，也决定方差随均值的变化方式。即便链接函数改变了均值进入线性预测子的方式，方差结构仍来自随机成分的选择与指数族的方差函数设定。理解这一点有助于在模型拟合后解释“为什么某些数据类型更适合某种分布”。

4 常用链接函数

规范链接（canonical link）指与指数族的自然参数直接对应的链接形式。选择规范链接通常带来更简洁的估计性质，并常使得推导出的估计方程形式更“自然”。在实践中，规范链接往往是默认起点，但并非所有问题都必须使用它；当研究目标或数值表现需要时，也会考虑非规范链接。

4.2 常见链接函数示例

对数链接常用于计数数据或强正向偏态的正值数据。它的核心是把均值映射到对数尺度：自变量的线性组合变化会以乘法方式影响均值，从而保证预测均值为正，并且常能带来更合理的增长曲线。

逻辑链接用于二分类概率建模：它把概率映射到对数几率（log-odds）尺度。系数的直观含义通常体现在几率比（odds ratio）相关解释上。由于逻辑函数将任意实数映射到 \((0,1)\)，模型天然满足概率范围约束。

互逆链接把均值映射到其倒数尺度，常用于需要呈现递减关系或特定形状约束的场景。它同样可以帮助在预测层面维持正性或避免极端不合理的均值行为，具体效果取决于数据与其他假设是否吻合。

4.3 链接函数选择的影响与注意事项

链接函数的选择会影响： 1) 系数的解释尺度（加性还是乘性、线性还是对数几率等）； 2) 均值曲线的形状； 3) 估计算法的数值稳定性与收敛速度； 4) 模型是否能在边界区域给出合理预测。 因此，链接函数并非“随便选一个就行”，通常要结合响应类型、业务含义与诊断结果共同决定。

5 估计方法与计算

5.1 极大似然估计（MLE）

GLM 的参数通常通过极大似然估计获得。根据指数族的结构，可写出对数似然并对参数求解。由于一般情况下方程可能是非线性的，往往需要数值迭代方法，而不是直接得到封闭解。

5.2 迭代加权最小二乘（IRLS）

迭代加权最小二乘（IRLS）是 GLM 最常用的算法框架之一。它的思想是：在当前参数估计下，把问题近似为一个加权的最小二乘，从而每一步都能用类似线性回归的形式更新参数。迭代进行直到对数似然或参数变化足够小。

5.3 收敛性、数值稳定性与实现细节

实际计算中可能遇到收敛慢、标准误膨胀、出现边界估计等问题。常见原因包括：数据分离（尤其在逻辑回归的极端情形）、自变量高度共线、响应类别极度不平衡、链接函数与分布假设不匹配等。工程上通常会采用步长控制、合理的初始值、参数约束或正则化（在扩展情形）来提升稳定性。

6 模型检验与评估指标

6.1 偏差（deviance）与拟合优度直觉

偏差（deviance）可理解为模型在“预测分布的贴近程度”上的损失度量，常用于比较嵌套模型。偏差越小通常表示拟合更贴近数据；在一定条件下，偏差也可与自由度联系，用于粗略判断是否存在明显的系统性偏离。

6.2 似然比检验

似然比检验通过比较全模型与简化模型的似然值差异，评估某些变量或约束是否显著提升了拟合效果。其优点是与似然框架一致，适用于多种类型的 GLM；不过当样本量较小或模型接近边界时，检验近似可能受影响。

6.3 Wald 检验与置信区间

Wald 检验基于参数估计的近似方差来判断系数是否显著偏离某个值。与此同时，置信区间可以反映不确定性的范围。需要注意的是：若估计处于不稳定区域（如强共线或接近分离），Wald 检验可能表现不佳，此时更依赖其他检验或诊断手段。

6.4 残差与诊断思路

6.4.1 残差类型概览（如 deviance/working residual）

在 GLM 中可使用不同形式的残差来观察偏离模式，例如基于偏差的残差（deviance residual）以及在 IRLS 迭代中出现的 working residual 等。残差并非只是“误差的数值”，而是用于发现：某些区间预测系统偏高或偏低、方差结构未匹配、链接函数导致的形状不适等问题。

6.4.2 影响点与离群值检查

极端观测点可能对参数估计产生较大影响，导致模型过度依赖少数样本。常用思路包括检查杠杆值、影响度指标以及残差与协变量的关系图。若发现特定点导致结果显著变化，应区分其是数据真实特征还是记录/测量误差。

7 特殊模型与常见应用类型

7.1 逻辑回归作为 GLM 的实例

逻辑回归通常被视为二分类任务中的经典 GLM 实例：响应服从伯努利分布，链接函数采用 logit。它输出对成功概率的估计，并允许通过加入非线性变换或交互项扩展表达能力。在实践里它也常用于评估“某因素增加事件发生概率”的方向与强度，但需要结合校准与诊断避免过度自信。

7.2 计数回归与泊松/负二项扩展

当响应是计数，泊松回归是基础模型。若数据存在过度离散（方差明显大于均值），仅靠泊松可能不足，此时负二项回归等扩展更适合。它们通过额外参数放宽方差-均值关系，从而提升拟合与推断的可靠性。

7.3 Gamma 回归与正值连续数据

Gamma 回归适用于正值连续响应，常见于费用、时长、浓度等。使用 Gamma 及合适链接函数，可以让预测均值保持正值，并反映随均值变化的波动结构。相比简单的正态回归，Gamma 回归往往更贴近右偏数据的形态。

7.4 分析变量与交互项的建模方式

GLM 允许像在线性模型中那样加入交互项与非线性变换。例如可使用多项式项、样条或对变量进行分段变换来描述复杂关系。交互项常用于刻画两个因素共同作用对均值的改变方式；在解释时要明确链接函数带来的尺度差异。

8 约束、扩展与相关模型

8.1 过度离散与模型调整

过度离散是指响应的变异度超过所选分布假设的方差能力。它可能带来标准误低估、显著性被夸大等后果。常见应对包括改用更合适的分布（如从泊松到负二项）、调整方差函数、或在更广义框架下采用稳健标准误（视具体软件实现而定）。

8.2 零膨胀与零截断（与计数数据相关）

在某些计数场景中，响应零值的出现频率远高于泊松或负二项所预测的水平。零膨胀模型把“额外的零”视为来自另一种生成机制，从而更好地拟合零值过多的特征；零截断则意味着某些零观测并不被观察到。两者本质都是对数据生成过程的更细致建模。

8.3 正则化与高维场景（概念性）

当自变量维度较高或存在大量相关特征时，普通最大似然估计可能导致系数不稳定甚至过拟合。正则化（如对系数施加惩罚）可以在概念上提升泛化性能与数值稳定性。具体实现与适用范围取决于所用软件、惩罚形式与数据规模。

8.4 与其他回归框架的对比简述

GLM 与一般线性模型（线性回归类）相比，最大的差异在于允许非正态响应与链接函数的引入。与广义加性模型（GAM）相比，GLM 通常把系统成分限制为线性形式或固定的变换，而 GAM 更强调平滑非线性。与生存分析等专门领域模型相比，GLM 更适用于常规的条件均值建模任务；当涉及删失或时间依赖时通常会转向更合适的专门框架。

9 实践建议与常见误区

9.1 选择分布与链接函数的流程

一个常见流程是：先根据响应类型确定候选分布（例如二分类选二项，计数选泊松/负二项，正值连续选 Gamma）；再结合业务解释与数据形态选择链接函数（如概率建模常用 logit，正值均值常用 log）。最后通过拟合指标、残差诊断与对比模型来确认选择是否合理。

9.2 线性预测子设定与变量变换

尽管系统成分是线性的，但并不意味着关系必须“全程线性”。可以通过对变量做变换、加入交互项或使用非线性基函数来增强表达能力。关键是：变换后的变量应有清晰含义，且不要因为模型看起来“更复杂”就盲目堆叠。

9.3 样本量、分组与可识别性问题

样本量影响估计稳定性与检验可靠性。分组稀疏、某些组合根本没有事件发生或永远失败（在二分类语境下）可能导致可识别性问题或估计困难。遇到这种情形，往往需要调整特征工程、合并类别、或考虑更合适的建模策略。

9.4 常见误区：“模型假设”与“结果解读”

常见误区包括：

  • 只关注显著性而忽略诊断，导致“统计上好看但模型不对”；
  • 忘记链接函数改变了系数解释尺度，从而误读“线性预测子上的变化”；
  • 盲目沿用默认分布与链接函数，没有核对响应数据是否满足基本特征（如取值范围、偏态与离散程度）。

理想情况下，应把统计显著性与预测质量、可解释性和诊断证据共同纳入判断。

10 GLM 的软件实现概览

10.1 主流统计软件中的 GLM 接口

在多数统计软件中，GLM 都提供统一接口：指定响应变量、解释变量、分布家族以及链接函数即可完成拟合。实际细节随软件而异，但总体概念一致：先构建模型公式，再选择 family 与 link，最后输出系数、标准误、拟合指标与诊断信息。

10.2 公式化建模与参数设定

公式化建模使得交互项、分组因子与变量变换可以用简洁语法表达。参数设定通常包括：截距是否包含、标准化方式、迭代控制参数（如最大迭代次数、收敛阈值）以及是否采用稳健方差等选项。

10.3 输出解读：系数、显著性与拟合指标

常见输出包括：系数表（估计值、标准误、检验统计量与置信区间）、拟合指标（如偏差、AIC）以及诊断图或残差摘要。解读时应特别注意：系数对应的是线性预测子 \(\eta\) 的尺度，只有在理解链接函数后才能把结果转回对均值或概率的解释。

11 词源与命名（GLM）梗式理解

11.1 “Generalized 不是泛泛而谈”的命名梗

“Generalized”容易让人联想到“讲得很一般”。但在 GLM 语境里，它更接近“把线性回归的关键结构推广出去”：把响应分布扩展到指数族，并通过链接函数把均值接到线性预测子上。换句话说，它并不只是泛泛而谈，而是在框架层面做了系统的“概括”。

11.2 为什么叫 Model：框架而非单一模型

GLM 不是单一算法或单一分布的组合，而是一套可重复使用的建模框架。你可以用它写逻辑回归、泊松回归、Gamma 回归等不同任务；本质差别主要来自随机成分的分布选择与链接成分的映射方式。因此“Model”更像是一套“搭积木”的体系：同一个骨架，不同的数据类型用不同的“零件”。