1 回归诊断的目标与边界
回归诊断是对回归模型“是否适用”的系统性检查。其目的不止于验证拟合得是否“好看”（例如拟合优度指标），更关注模型推导与应用中常见假设是否出现严重偏离。当关键假设失真时，参数估计可能仍能产生数值，但其标准误、显著性检验、置信区间乃至预测区间的含义就可能不再可靠。
1.1 为什么需要模型诊断
在实际建模中，模型看起来“能解释”数据并不等同于满足推断所需条件。诊断的价值主要体现在三点： 1）发现违反假设的迹象，例如残差呈现明显结构、方差随自变量系统性变化、或个别样本对系数估计产生过大牵引力。 2）判断问题来源是函数形式不当、变量遗漏、误差相关、还是极端值主导。 3）为改进提供方向：重新设定模型、调整变换、采用更稳健的推断方法，或在必要时对数据质量进行核查。
1.2 诊断的输入：模型、数据与残差
诊断建立在已拟合的回归模型之上，输入通常包括：
其中，残差是连接“数据与假设”的关键载体。通过观察残差的模式、分布特征和异常点，可以间接检验误差项在统计意义上的性质。
1.3 诊断的输出：可信度与改进方向
良好的诊断输出通常包含两类信息：
在实践中，诊断并非一次性结论，而是反复迭代的过程：诊断发现问题 → 形成改进假设 → 重新拟合 → 再次检查。
2 假设检查的框架
回归诊断常以“假设—检验/图形—解释”的链条展开。不同研究目标（纯预测、因果解释、还是参数推断）会改变对假设的侧重，但以下几类通常是线性回归与一般广义建模中最常见的关注点。
2.1 线性性与函数形式假设
线性性假设并不只意味着“系数对自变量是线性的”。更一般地，它要求模型能够恰当刻画期望响应随预测变量变化的结构。如果实际关系存在弯曲、阈值效应、比例关系或非线性增长，单纯线性设定会导致残差出现系统性趋势，进而影响估计与推断。
诊断通常通过残差图、分段检查和必要的函数形式扩展（如加入多项式项、样条、对数/幂变换或交互项）来判断偏差来源。
2.2 误差独立性假设
误差独立性要求不同样本的误差项之间不呈现相关结构。若数据具有时间序列依赖、空间相关，或同一主体的重复测量导致的簇相关，则残差可能呈现“滞后影子”，使得标准误估计偏离，显著性检验变得不可信。
诊断可通过残差随时间/顺序的模式、以及针对相关结构的专门检验或替代推断方法来评估。即使拟合优度较高，相关误差也会让推断质量受损。
2.3 同方差性（方差齐性）假设
同方差性要求误差方差在预测变量或拟合值的范围内保持稳定。若误差方差随某个变量水平增大（常见于量纲扩大、比例型波动、或对不同群体的测量精度差异），则常规标准误会产生偏误，置信区间与检验的可靠性下降。
诊断通常通过残差与拟合值的散点形态、尺度-位置类图或更直接的异方差检验来发现异方差线索。必要时可考虑变换或加权回归。
2.4 误差分布与正态性假设（在推断中）
在许多线性回归场景中，正态性并非拟合本身的前提，但在依赖精确推断（如小样本下的t检验、F检验或构造精确置信区间）时会影响理论保证。若误差分布明显偏态、厚尾或存在离群点主导的分布形态，标准推断会变得敏感。
诊断中常见的工具包括残差分布图与Q-Q图。对于分布偏离较强的情况，可以结合稳健标准误或替代分布假设的建模策略。
2.5 参数稳定性与模型可识别性概念
参数稳定性强调估计对数据扰动是否过度敏感。若模型在不同子样本上系数方向与幅度差异显著，或某些变量在数据中几乎与其他变量共线，参数会不稳定；这不仅影响解释，也会削弱推断的可重复性。
与之相伴的是可识别性：当设计矩阵提供的信息不足以区分参数贡献时（例如完全共线、极端稀疏导致的难以估计），回归结果可能缺乏可解释基础。诊断通常结合多重共线性线索、子样本一致性与敏感性分析来辅助判断。
2.6 模型设定偏差与诊断的对应关系
模型设定偏差可来自函数形式错误、遗漏变量、过度简化或不恰当的交互结构。它们往往以“特定诊断信号”出现：
- 若残差表现出清晰弯曲或分段趋势，提示函数形式可能欠缺。
- 若残差方差随拟合值或某变量水平系统变化，提示同方差性问题。
- 若残差对特定观测点极端敏感，提示异常点或高杠杆点主导。
因此，诊断的解释应避免“只看一个图就下结论”，而是把证据在不同诊断工具之间对齐，形成更稳健的判断链条。
3 残差诊断（Model diagnostics核心工具）
残差诊断是回归诊断的基础层。通过对残差的大小、方向、分布形态以及与自变量/拟合值的关系进行观察，可以把“假设是否成立”的抽象问题转化为可视化与可量化的线索。
3.1 残差的基本含义与计算
在线性回归中，给定观测值 \(y_i\) 与模型预测 \(\hat{y}_i\)，残差定义为 \[ e_i = y_i - \hat{y}_i \] 它反映了模型未解释的部分。需要注意的是，残差并非直接“误差项”的等同替代品：因为 \(\hat{y}_i\) 来自同一数据的拟合，因此残差之间可能存在一定程度的结构。诊断通常关注残差在统计意义上的表现是否符合预期。
3.2 残差图：趋势、形状与模式识别
残差图一般将残差放在纵轴，横轴可选取拟合值、某个关键自变量或样本顺序。图形目标在于识别模式：
- 若残差随机散布在0附近，且无明显结构，通常更支持线性与同方差的合理性。
- 若残差呈现弯曲趋势、漏斗形或条纹状形态，则提示函数形式偏差或异方差。
- 若按顺序排列呈现周期性或缓慢漂移，则可能表明误差相关或非平稳性。
这些“形态信号”比单一数值指标更贴近假设检验的本质。
3.3 标准化残差与学生化残差
标准化残差与学生化残差是对残差进行尺度调整后的派生量，用于更公平地区分“正常波动”和“异常偏离”。
- 标准化残差通常将残差按其估计波动尺度进行归一化，使得不同观测在同一尺度下可对比。
- 学生化残差在处理影响点方面更敏感，常用于识别可能对模型估计产生较大牵引的样本。
在诊断中，标准化/学生化残差的极端值往往是异常值排查的起点，但解释仍应结合数据背景与影响度度量。
3.4 分组/分段残差检查
当自变量或样本来自不同群体，或研究关心阈值与分段行为时，可以按组或按拟合值区间对残差进行汇总与对比。典型做法包括：
- 比较不同分组中残差的中心与离散程度。
- 检查残差是否在某些区间系统偏正或偏负。
分段检查的优势在于把全局图形不易看清的细节显性化，从而更容易定位偏差发生的范围或群体。
3.5 Q-Q图与分布形态评估
Q-Q图将残差的样本分位数与理论分位数（常以正态分布为参照）进行对比。若残差近似正态，点通常沿对角线分布；若出现明显弯曲、两端偏离或厚尾特征，则提示误差分布偏离正态，或存在离群点主导的非对称结构。
Q-Q图用于推断场景的假设评估时尤其有用，但它并不自动告诉“应当怎么改”。通常还需结合其他诊断结果与建模目标选择后续策略。
4 影响度与异常值分析（Outliers与高杠杆点）
异常值与高杠杆点可能不会只影响“拟合优度”，而是直接改变参数估计的方向、大小与不确定性评估。影响度分析的重点是回答：某个观测是否只是“残差大”，还是对模型整体产生了关键牵引作用。
4.1 离群点的诊断与处理策略
离群点通常表现为残差显著大于一般水平，或在特征空间中远离多数样本。处理策略一般包括： 1）核查数据：确认是否存在录入错误、单位不一致或测量偏差。 2）讨论合理性：该点是否可能是来自同一生成机制的极端表现。 3）选择稳健手段：在不方便删除数据的情况下，采用稳健回归或调整推断方式，以降低异常点的支配效应。
是否剔除离群点应遵循可解释的统计与业务理由，避免“为让模型更好而删除数据”的循环。
4.2 杠杆值（leverage）及其直觉
杠杆值刻画某个观测在设计矩阵上的“位置影响力”。直觉上：若某点的自变量取值很极端（例如远离其他样本的x范围），它可能对回归平面的位置具有更强的几何牵引。高杠杆点不一定具有极大残差，但一旦同时残差偏离，就可能对系数产生显著改变。
杠杆值因此常与残差一起解读：
- “高杠杆 + 大残差”通常是最需要重点关注的组合。
- “高杠杆 + 小残差”也可能仍对稳定性构成影响，但严重程度通常较低。
4.3 Cook距离与整体影响评估
Cook距离综合考虑了残差大小与杠杆效应，反映移除某个观测后，回归系数整体变化的程度。其意义在于从“模型整体”角度衡量影响，而非只看单个维度的偏离。
在实际应用中，Cook距离常用来筛查“可能主导拟合”的样本。阈值与判读方法依赖具体设定和样本规模，因此通常以相对大小与敏感性分析作为参考，而不是机械地使用单一断点。
4.4 DFFITS 等局部影响度量
DFFITS类指标属于局部影响度量：它关注“某个观测对拟合值或对特定量的标准化改变有多大”。与Cook距离偏向整体变化不同，局部指标更适合定位“在预测某点或某段拟合上，哪些样本扮演关键角色”。
这类度量常用于进一步细化排查：先用整体指标筛出可疑观测，再用局部指标解释其具体影响方向与幅度。
4.5 可能的应对：数据审查、变量重构与稳健方法
当诊断表明存在异常点或高杠杆样本主导，应对策略通常从轻到重：
- 数据审查：对可疑观测进行可追溯的核验。
- 变量重构：例如调整变换、加入非线性项、重新编码分组变量，或引入交互以减少结构性偏差，从而让异常点不再“被迫”承担模型误设的解释负担。
- 稳健方法：采用对离群点不那么敏感的估计与推断方式，如稳健标准误、加权回归或稳健回归框架。
理想的流程是：先区分“是真实的极端现象”还是“由模型设定偏差导致的残差异常”，再选择恰当的处理方式。