1 概念界定
1.1 缺失数据与缺失机制的基本概念
在统计建模与数据分析中，缺失数据指某些样本在特定变量上没有观测值。为讨论缺失如何产生，通常引入“缺失机制”的概念：它描述“某个观测值是否缺失”与数据中可观测信息、以及可能的未观测结果之间的关系。该机制并不一定直接可见，但它决定了简单做法（如删除缺失行或用均值插补）在多大程度上会改变总体含义与推断结果。
1.2 非随机缺失的定义与直观理解
非随机缺失（Non-random Missingness）指缺失发生的概率与变量的取值，或与（可能的）未观测结果存在系统性关联；也就是说，“缺失是否发生”并非与相关数据独立。直观上，缺失可能是一种“有信息的缺失”：例如对某些不利结果更容易不愿回答，或某些取值更可能触发测量失败。与完全随机缺失相对，非随机缺失往往会造成选择偏差，使得基于观测子样本的分析不再代表原始总体。
1.3 与 MCAR、MAR 的关系（分类视角）
在缺失机制的常用分类框架中，MCAR、MAR 与 MNAR 常被用来描述不同的信息结构。
- MCAR（完全随机缺失）：缺失与研究变量无关，仅与抽样过程相关。此时直接删除缺失值通常不会系统性偏移。
- MAR（随机缺失于观测）：缺失与未观测部分无关，但可与已观测变量有关。若在模型中正确包含与缺失相关的观测信息，基于 MAR 的方法可获得有效推断。
- MNAR（非随机缺失于未观测）：缺失概率与未观测结果本身相关。非随机缺失通常更接近这一情形，意味着仅依赖观测变量进行“条件化”可能不足以消除偏差。
需要注意的是，分类框架是对假设的表达：现实数据是否满足某一类机制，往往需要建模、诊断与敏感性分析来支撑。
1.4 常见情形示例（变量相关、结果驱动等）
非随机缺失在实际场景中常见于以下类型：
- 变量相关的缺失：某些测量条件更容易导致特定区间的取值缺失；或某些群体的答题行为不同，导致缺失比例随可观测特征变化。
- 结果驱动的缺失：未观测结果较差（或较敏感）时，更可能拒绝提供；或者经历某类事件的人更可能退出随访，从而使缺失与结局强相关。
- 机制性失败：测量仪器触发阈值、问卷设计跳题规则、日志采集失败等，都可能让缺失与真实状态绑定。
这些例子提示：判断缺失“是否有信息”往往比判断缺失“多不多”更关键。
2 识别与判别思路
2.1 经验检验：缺失模式与变量关联
在没有强先验前提时，常用的起点是经验观察缺失分布。可以从多个角度比较：
- 缺失与否在不同组别、不同取值区间之间的比例差异；
- 缺失变量与其他可观测变量的相关结构变化；
- 缺失指示变量（缺失=1/0）对可观测协变量的可预测性。
若缺失明显与某些已观测特征系统相关，可能表明机制至少不是 MCAR；但这并不自动等价于 MNAR，仍需更进一步的分析与建模。
2.2 完全可观测差异的利用方法
当有一部分协变量或中间变量几乎完全可观测时，可以更有效地区分机制假设。例如：
- 以缺失指示变量为因变量做预测建模，若预测成功率在加入特定协变量后显著提升，说明缺失与这些协变量相关；
- 对缺失组与非缺失组在完全可观测变量上的分布进行对比，评估是否存在系统差异。
这种思路的价值在于：它帮助研究者明确“至少需要哪些观测信息纳入缺失模型”，从而降低将 MAR 假设用错变量集合导致的偏差风险。
2.3 无法直接验证时的策略：敏感性分析框架
当机制无法被数据直接判明时，敏感性分析用于检验结论对关键假设的依赖程度。常见做法包括：
- 在 MNAR 假设下引入参数化偏移（例如让缺失组在结果分布上相对观测组产生某种结构化差异）；
- 设定一系列合理的偏移强度或约束，使其覆盖“从接近 MAR 到显著偏离”的范围；
- 观察估计目标（如均值差、回归系数、风险比等）如何随假设变化。
若结论在合理范围内保持稳定，则模型假设影响较小；若结论随假设剧烈变化，则需要更谨慎的解释，甚至重新获取数据或改进设计。
2.4 诊断指标与可视化手段
为了帮助理解缺失机制，常见诊断包括：
- 缺失热图/矩阵：展示缺失集中在变量组合上的模式；
- 缺失比例按分层变量分组的柱状图或箱线图：揭示缺失与协变量的关系；
- 分布对比图：比较缺失组与非缺失组在可观测部分的边际分布；
- 基于拟合模型的后验/预测检查：例如比较缺失数据模型生成的统计量是否与观测数据一致。
可视化的作用不只是“发现相关”，还在于发现结构性问题，例如缺失集中发生在特定阶段或特定流程节点。
2.5 常见误判与其后果
常见误判包括：
- 把“有差异”误当作“非随机”或“MNAR”：缺失与观测协变量相关可能仅意味着 MAR，而非必然 MNAR。
- 在缺失模型中忽略关键协变量：将某些与缺失相关但未进入模型的因素遗漏，会让结果看似像 MNAR，引发偏差。
- 用单一插补方案替代机制假设检验：单次插补会掩盖不确定性，且对机制错误更敏感。
这些误判的后果通常表现为：估计偏移、置信区间过窄、以及对结论稳定性的过度乐观。
3 统计建模方法
3.1 以缺失机制为目标的建模（缺失倾向模型）
缺失倾向模型通过显式建模缺失指示变量（某变量是否缺失）的概率，把缺失机制表示为参数函数。典型思路是构建：
该方法的目标是估计“在给定信息下缺失发生的倾向”，以便校正由观测子样本带来的选择差异。若机制假设正确，基于此的加权或校正可以减轻偏差。
3.2 以数据生成过程为目标的联合建模
联合建模把“观测数据生成”与“缺失机制生成”放到同一个概率框架里，通常通过联合分布或分层结构来描述：
- 结果变量的分布模型；
- 缺失机制如何依赖于结果及协变量。
当怀疑缺失与未观测结果相关时，联合模型能够更直接表达 MNAR 的假设，但同时也要求更强的建模假设与更严格的可识别性条件评估。
3.3 基于似然/贝叶斯的推断思路
推断通常可以基于似然框架或贝叶斯框架完成：
这类方法的优势在于：可以自然处理不确定性，并为敏感性分析提供可扩展的实现路径。
3.4 处理未观测（潜变量）时的建模选择
非随机缺失的关键难点往往在未观测部分的统计表达。常见选择包括：
- 把缺失值当作潜变量，在模型中进行积分或采样；
- 采用结构化参数化，在 MNAR 假设中显式加入缺失与未观测结果相关的成分；
- 在多变量缺失情形下，决定变量间的联合结构（相关性如何进入模型）。
建模选择会影响估计效率、可识别性以及对机制假设的敏感程度。
3.5 模型评估与收敛/可识别性问题
非随机缺失模型可能面临：
- 可识别性不足：数据不足以区分多个机制参数组合，导致估计不稳定；
- 收敛困难：特别是在贝叶斯采样或复杂联合结构中；
- 模型拟合但机制错误：即预测能力好不代表机制正确。
评估通常包括：检查残差型诊断、比较预测分布与观测统计量、评估敏感性分析中的稳定性，以及报告收敛诊断指标（如迭代稳定、链混合等）。
4 插补与估计策略
4.1 基于模型的插补：条件分布与参数估计
基于模型的插补通过条件分布生成缺失值。基本步骤可概括为：
- 拟合数据模型（可能包含缺失机制结构或其近似）；
- 使用估计参数计算缺失变量在给定其他变量条件下的分布；
- 从该条件分布中生成缺失值并用于后续分析。
在非随机缺失情境下，插补分布需要体现机制假设，否则插补结果可能系统偏向。
4.2 以缺失机制校正偏差的插补流程
当机制不是简单随机时，插补常与校正思想结合。例如可以通过：
- 在插补模型中纳入与缺失相关的协变量；
- 在 MNAR 假设下引入对缺失组分布的结构性调整；
- 或采用迭代式估计：同时更新参数与插补值，直到稳定。
该流程的关键是：生成缺失值的规则必须与对缺失机制的假设一致，从而减少由选择偏差带来的偏移。
4.3 加权方法与代表性校正的概念
加权方法通过给观测样本赋予与缺失倾向相关的权重，使其“代表”原总体。核心思想是：如果某类样本更可能缺失，则对其观测记录给予更高权重，以抵消选择带来的不均衡。 在实践中，权重的稳定性、极端权重控制以及模型设定都会影响结果可靠性；同时，代表性校正并不等同于证明机制正确，仍需与敏感性评估配套。
4.4 结果汇报：如何传达不确定性
在使用插补或联合建模时，建议明确报告：
- 缺失比例、缺失模式与纳入的变量；
- 插补次数或采样方案（若适用）；
- 参数估计的不确定性来源（如模型参数不确定性、插补带来的额外波动）；
- 敏感性分析结果的范围与结论稳定性。
良好的汇报能让读者判断：结果变化来自随机误差还是机制假设差异。
4.5 “不插补也可做”的分析选择（如基于模型的推断）
并非所有方法都必须先插补再估计。某些建模与推断框架可以直接基于观测似然进行估计，而不显式生成缺失值，例如：
- 直接在概率模型下进行参数推断；
- 对潜变量进行积分处理；
- 或使用带权/基于似然的估计方法。
这类选择的优点是减少人为插补步骤带来的额外假设表达，同时在可识别性与计算可行的前提下保持推断的一致性。
5 实务流程与最佳实践
5.1 数据审计：缺失类型、比例与来源
在正式建模前，需进行数据审计，包括：
- 各变量缺失比例；
- 缺失是否集中在特定流程阶段或特定分层；
- 缺失是否与其他记录字段（时间戳、采集条件、跳题逻辑）相关；
- 缺失是否由数据处理流程引入（例如清洗规则导致的“意外缺失”）。
审计能帮助区分“真实缺失机制”与“工程性缺失”，并决定后续建模策略。
5.2 建模前提的记录与可复现性
非随机缺失的推断高度依赖假设，因此需记录并可复现：
- 缺失机制相关的建模变量选择依据；
- 对 MNAR 结构的参数化方式或敏感性扰动设定；
- 软件版本、随机种子、收敛与诊断信息；
- 处理多重插补、加权或联合模型时的具体设置。
可复现性不仅是工程要求，也是在学术解释中回应“为什么是这个结果”的基础。
5.3 敏感性分析的设计原则
敏感性分析应遵循：
- 先确定关键假设：哪些机制参数或偏移最影响结论；
- 设定可解释的变化范围：偏移强度应对应合理的业务或实验理解；
- 与主要结论联动展示：汇报结论随假设变化的轨迹或区间；
- 避免“无穷自由度”的随意探索：过度放松会让结果难以解释。
目标不是找到“最完美假设”，而是说明结论在不确定机制下的可信度。
5.4 与业务/实验过程的对齐（机制可解释性）
在观测研究与实验之外，常见机制来自流程与规则。例如问卷的跳题逻辑、测量阈值、随访中断、依从性差异等。将这些机制与统计假设对齐，有助于：
- 缩小可能的 MNAR 形式；
- 识别应纳入模型的协变量；
- 设计新的数据采集策略来降低不确定性。
这种对齐也能提升敏感性分析的可解释性。
5.5 常见陷阱：删除、单一插补与过度自信
常见问题包括：
- 直接删除缺失值：当缺失与结局或关键协变量相关时，删除会放大选择偏差。
- 单一插补：一次性填补会低估不确定性，容易造成过度自信的区间估计。
- 忽视机制假设的验证与敏感性：即使模型拟合好，也可能掩盖机制错误。
最佳实践是：把缺失处理当作“推断流程的一部分”，而不是末尾的技术补丁。
6 影响与应用场景
6.1 选择偏差与效应估计的偏移
非随机缺失最典型的影响是选择偏差：缺失使得观测样本系统性地偏离目标总体，导致效应估计（如均值差、回归系数、风险比）产生方向性偏移。偏移大小取决于缺失与结局/预测变量的关联强度，以及模型能否恰当地吸收这些关联。
6.2 生存分析与删失数据的类比讨论
生存分析中的删失（censoring）与缺失在机制讨论上常被类比。虽然两者严格定义不同，但都涉及“某些信息只部分可见”的情形。类比的意义在于：它提醒研究者关注“可观测过程是否与结局相关”，以及在何种假设下能够使用特定估计方法获得有效性。
6.3 调查研究（问卷跳题/拒答）中的非随机缺失
问卷常见的缺失来源包括：
- 跳题规则：某些问题只在回答特定选项后才展示，导致缺失与前题答案强相关；
- 拒答：对敏感内容的回避使缺失与真实态度或行为存在联系；
- 时长与中途退出：参与者退出往往与对问卷的主观体验相关，从而可能引入偏差。
在这类数据中，识别机制与纳入关键前置变量尤为重要。
6.4 医疗数据（依从性、失访）中的风险
医疗研究里，非随机缺失常见于：
- 随访失访：健康状况或症状变化可能影响继续参与；
- 依从性不足：用药或检查不完成与真实风险或可观察状态相关；
- 测量失败：在特定生理条件下更易出现数据不可用。
在风险评估与疗效比较中，机制建模与敏感性分析对减少偏移尤为关键，因为医疗结论往往对策略选择具有现实影响。
6.5 轻量“梗”：当缺失像“回避问题的回答者”
有时缺失的行为就像“回避问题的人”：当你问得越具体、越敏感，TA 越可能“消失”。统计上，这提醒我们不要把消失当成“无信息的噪声”，而要把它视作潜在线索——至少在机制上值得怀疑并进行检验或敏感性评估。
7 参考框架与进一步阅读
7.1 缺失机制分类的经典理论背景
缺失机制的分类思想与形式化讨论为后续建模奠定基础。理解 MCAR、MAR 与 MNAR 的含义，能够帮助研究者明确：何时可以在较弱假设下获得有效估计，何时需要更强结构或敏感性评估。该理论也强调“假设不可从数据中自动得到”，因此推断应伴随机制讨论。
7.2 常用软件实现思路（概念层面）
在软件层面，常见实现通常包括：
- 多重插补与相关估计汇总；
- 加权估计与缺失倾向建模；
- 联合建模或基于似然的推断；
- 贝叶斯采样与诊断流程。
概念上，用户需要关注模型设定是否与机制假设一致、以及诊断结果能否支持所用方案的可信度。
7.3 关键术语表：缺失指标、观测机制、潜在结果
- 缺失指标：用于表示某变量是否缺失的变量（缺失=1/0）。
- 观测机制：决定何时、以何种概率观察到数据的过程。
- 潜在结果：在缺失情况下本应出现但未观测到的结果变量取值。
这些术语共同构成分析缺失机制的语言框架，也便于在建模与敏感性分析中对假设进行精确定义。
7.4 研究问题导向的阅读路径
进一步阅读可按研究目标组织：
- 若目标是解释机制并推断缺失带来的偏移，可重点阅读缺失机制分类、联合建模与敏感性分析；
- 若目标是回归预测或预测准确性，可关注加权与基于似然的处理方式；
- 若目标是因果效应或效应估计，可结合选择偏差与假设敏感性进行更严格的模型审视。
以问题为导向选择阅读材料，有助于把握“为什么要做缺失处理”而不仅是“怎么做插补”。