1 缺失机制的基本概念
缺失机制（Missingness Mechanism）指用于描述“某条数据为何缺失”的生成规律。它把缺失视为随机过程的一部分：并非仅有观测值本身决定统计结论，缺失这一事件也会受到数据中某些变量（观测到的或未观测到的）影响。该框架的核心价值在于把缺失处理与可用推断联系起来：当机制假设满足特定条件时，某些估计量才能获得无偏性或一致性，或可在一定程度上保证预测能力与推断有效性。
在缺失数据问题中，一个常见误区是把“缺失比例”当作主要问题来源。实际上，缺失比例只是结果的表观特征；真正决定偏差方向与可否纠正的，是缺失与哪些变量相关、相关是否可通过观测信息建模。
1.1 缺失数据的形式化表示
通常将数据划分为两部分：观测集与缺失集。设完整数据为 \(Y\)，其中部分分量可观察，部分分量缺失；引入缺失指标（missingness indicator） \(R\)，用于标记某条信息是否被观测。形式上可将观测数据写作 \((Y_{\text{obs}}, R)\)，而缺失机制刻画的是 \(R\) 与 \(Y\) 之间的关系。
这一表示的意义在于把“缺失”转化为可建模对象：缺失不再只是缺了一块数据，而是与随机变量一起进入概率模型。
1.2 缺失指标与潜在结果的关系
当研究目标涉及因果推断或潜在结果框架时，缺失机制常被理解为与潜在结果共同生成的一部分：观测到的结果是否出现，可能与个体的真实潜在反应有关，也可能仅与其可观察特征相关。由此，缺失处理的正确性取决于你能否在机制层面合理隔离“未观测到的部分”对缺失的影响。
直观上，如果缺失与真实但未观测的反应强相关，那么简单删除或忽略会引入系统性差异；若缺失只与已观测特征有关，则可通过建模或加权等方法部分或充分纠正。
1.3 为什么“机制”比“缺失比例”更关键
缺失比例决定了信息损失的量级，但机制决定了损失带来的偏差结构。两份研究可能都缺失 30%，但若一份缺失与教育水平（观测变量）相关，另一份缺失与未观测的结果水平（潜在变量）相关，那么后者更可能出现难以修复的偏差。
因此，机制框架强调：需要回答“缺失是否可由观测信息解释”，而不是只回答“缺失多不多”。
2 缺失模式（MCAR/MAR/MNAR）的分类思想
MCAR/MAR/MNAR 是缺失机制的经典分类思想，它用来给出可推断性（可识别、可估计）对应的直觉。三者并不是对真实世界的直接测量结果，而是对缺失生成过程做出的结构假设。不同假设允许采用不同的估计策略，并影响敏感性分析的必要程度。
2.1 MCAR（完全随机缺失）
MCAR（Missing Completely At Random）指缺失与任何数据值都无关，即缺失只由与 \(Y\) 无关的因素驱动。换言之，即使考虑完整数据的可能取值，缺失概率也保持不变。
在这种情况下，基于观测样本的分析往往更容易保持无偏性，因为缺失不会以结果或协变量的取值为条件引入系统差异。但在实践中严格满足 MCAR 的条件较少，且 MCAR 并不必然“更好”，只是更容易形成理论保障。
2.2 MAR（可观测随机缺失）
MAR（Missing At Random）指缺失与未观测部分无关，但与已观测部分可能相关。形式上常用“给定观测信息后，缺失独立于缺失项”的直觉来表述。
MAR 的含义不是“缺失可以忽略”，而是“缺失可以被观测协变量解释”，因此可以通过合适的模型化（如基于缺失指标的建模、加权或插补）来缓解偏差。若观测信息足够，MAR 可能是合理近似；若观测信息缺失关键驱动变量，MAR 假设就会变得脆弱。
2.3 MNAR（不可观测随机缺失）
MNAR（Missing Not At Random）指缺失与未观测部分存在依赖关系，即使给定观测数据，缺失概率仍与缺失项本身有关。此时，单纯依靠观测数据难以完全识别缺失生成过程，模型需要额外假设，通常伴随更强的敏感性分析要求。
MNAR 并非意味着“不能做”，而是意味着推断的可靠性更依赖研究者对机制的结构化判断与替代情景的比较。
2.4 与“可识别性/可推断性”的对应直觉
一般而言，MCAR 最容易带来可识别性；MAR 通常在“观测集足够覆盖机制相关变量”时允许较稳健的推断；MNAR 往往需要额外参数化机制或借助外部信息（例如先验、设计约束、或敏感性边界）才能推进。
因此，缺失模式不仅是分类术语，也是对“能否从现有数据中学到足够信息”的提示。
3 机制的概率表述与独立性条件
缺失机制的概率表述把直觉落到数学条件上。常见做法是把缺失指标视为条件概率的一部分，并讨论其与观测、未观测变量的独立性结构。
3.1 缺失与观测变量的独立性（形式与含义）
以独立性为核心的表述通常写成：缺失指标 \(R\) 在给定观测变量后是否仍与缺失项相关。若缺失与观测变量无关，则缺失不会利用任何已知信息来筛选样本；反之，如果缺失概率依赖某些观测协变量，那么这些变量是纠偏的关键线索。
需要强调的是，这里的独立性是概率模型意义下的条件独立，不是简单的“相关系数接近于零”。
3.2 缺失与未观测变量的依赖关系
对 MNAR 与 MAR 的区分，正是在于：缺失指标是否与未观测变量有关。若缺失仅取决于已观测部分，则可以说缺失对未观测部分“条件独立”；若缺失仍取决于未观测部分，则难以从观测数据中恢复缺失生成过程。
这部分是缺失机制模型的“分水岭”。依赖结构越强，越需要机制参数化与敏感性分析来控制不确定性。
3.3 观测集与缺失集的条件概率写法
一种常用写法是把缺失概率表示为条件概率 \(P(R \mid Y_{\text{obs}}, Y_{\text{mis}})\)。其中，机制假设规定该条件概率在给定信息后是否仍涉及 \(Y_{\text{mis}}\)。例如：
- MCAR：\(P(R \mid Y_{\text{obs}}, Y_{\text{mis}})\) 不依赖任何 \(Y\)。
- MAR：该概率依赖 \(Y_{\text{obs}}\)，但不依赖 \(Y_{\text{mis}}\)。
- MNAR：该概率可能同时依赖两者。
这种表达使得机制假设可以被直接嵌入似然、加权或插补模型中。
3.4 从因果图到条件独立的常见映射
在图模型或因果图视角下，缺失机制常被理解为一个额外“选择变量”或“观测过程变量”。通过图中路径的可阻断性，可以推导条件独立关系，从而判断某种机制假设是否对应于某个可推断性结论。
实践中常见的错误是将“图中相关”误当成“条件独立成立”。因果图给出的更多是结构性约束：哪些路径被条件化后仍可能产生联系，哪些信息需要纳入条件集。
4 统计建模中缺失机制的可用假设
缺失机制并不是孤立存在；它需要嵌入具体统计框架才能发挥作用。不同建模路线对机制假设的形式、可执行性与输出解释方式各不相同。
4.1 以似然函数为核心的建模假设
在似然框架中，目标是构造完整数据似然或观测似然，并决定是否对缺失过程进行联合建模。机制假设影响可否“忽略”缺失过程项（例如在某些条件下缺失过程的因子可从推断中消去）。因此，MCAR/MAR/MNAR 会直接改变似然分解形式与参数可识别性。
当机制被设定为可忽略时，估计可相对直接；若机制需要联合建模，则模型复杂度与敏感性风险随之上升。
4.2 以估计方程/权重为核心的建模假设
在估计方程或加权框架中，机制假设常转化为“加权需要的权重模型是否正确”。例如，如果缺失与结果本身有关但尚未被观测协变量充分调节，权重模型会出现偏差，进而影响估计的一致性。
从方法论角度，这一分支强调：机制假设不仅决定理论结论，也决定你要用什么变量建立权重或条件分布。
4.3 IM（插补）框架下的机制假设要求
插补（Imputation, IM）通常需要为缺失部分构造条件分布。机制假设会告诉你应该如何选择插补模型所依赖的信息集合：在 MAR 下，插补模型常可基于观测信息进行；在 MNAR 下，为保证与缺失生成过程一致，需要更强的结构假设（例如在插补模型中显式引入缺失项对缺失概率的影响）。
因此，插补不是简单的“填个数”，而是一个与机制相容的生成过程。
4.4 完整案例分析的适用边界
完整案例分析（complete-case analysis）仅使用未缺失样本。其适用边界往往与 MCAR 或某些更强条件有关：若缺失与未观测部分存在依赖或与关键未观测因素相关，完整案例会引入选择偏差。
即便样本量减少不大，偏差仍可能显著；因此完整案例的“可用性”必须回到机制假设进行评估，而不是只看样本量的减少程度。
5 对常见缺失处理方法的影响
不同方法对机制的依赖程度不同。理解这种依赖关系，有助于判断“什么时候方法看似有效但其实建立在强假设之上”。
5.1 完全删除（listwise deletion）的后果
完全删除会丢弃包含任何缺失的观测行。若缺失不是 MCAR，这种删除会改变样本组成，导致估计量偏向于某类个体或条件状态。即便删除后方差更小，偏差也可能占主导。
因此，完全删除通常被视为在 MCAR 下较合理，在 MAR/MNAR 下通常需要谨慎或配合诊断与敏感性分析。
5.2 均值/众数填补的条件适用性
简单填补（如均值或众数）往往隐含强假设：缺失项的条件分布被错误地简化为常数。它可能降低方差、扭曲分布形状，并造成标准误估计偏差。
这种方法在数据机制较简单、缺失比例很低且对推断主要关注点并不依赖分布形态时，可能具有一定工程可行性；但在机制复杂或推断目标要求较精细时，通常不推荐作为主要策略。
5.3 多重插补（MI）与机制假设
多重插补通过生成多套合理的缺失值并合并不确定性来缓解插补带来的单次随机性问题。其理论基础要求插补模型与机制假设相协调：例如在 MAR 下，若插补模型充分使用观测信息，MI 往往能得到较稳健的推断。
当真实机制更接近 MNAR，MI 需要在插补模型中引入相应结构或配合敏感性分析，否则合并结果的覆盖率可能不理想。
5.4 EM算法与缺失机制的关系
EM（Expectation-Maximization）可用于最大化似然或估计模型参数。其 E 步相当于在当前参数下对缺失值的期望进行填补，M 步更新参数。EM 的收敛目标取决于似然模型如何处理缺失过程。
在 MAR 或可忽略条件下，EM 可在较标准设置中工作；若机制为 MNAR，且未在模型中纳入合适的缺失过程参数化，EM 可能收敛到一个与真实数据生成不匹配的局部最优。
5.5 反向概率加权（IPW）的权重建模与机制
反向概率加权（Inverse Probability Weighting, IPW）通过对观测样本赋予与其被观测概率相关的权重来纠偏。其正确性强依赖于权重模型：你需要对 \(P(R=1 \mid \cdot)\) 的条件结构做出假设，并确保模型中纳入了与缺失有关的关键协变量。
如果缺失过程偏离假设（例如遗漏了机制相关变量），权重会失真，从而导致估计偏差甚至不稳定（如权重极大引起方差膨胀）。
6 机制不确定时的敏感性分析
当机制无法被证实或证据不足时，敏感性分析用于评估结论对机制假设变化的稳健程度。其目标不是“证明机制一定如此”，而是量化不同合理假设下结论可能如何漂移。
6.1 何时需要敏感性分析
当出现以下情况时，敏感性分析通常更有必要：机制可能接近 MNAR；关键驱动变量不可观测或未被纳入；观测数据的模式诊断提示存在选择偏差风险；或机制假设与研究背景不一致。
特别是在高风险决策场景中，不能只给出单一机制下的点估计，还需要展示不确定性如何受机制假设影响。
6.2 参数化MNAR假设的设定思路
MNAR 的敏感性分析常使用参数化方式引入“缺失与未观测值相关”的强度。例如通过在缺失过程模型中增加一个参数或函数，使其在 MAR 的特例下退化。这样做的好处是：可以系统扫描参数范围，观察估计结果如何随机制偏离而变化。
参数范围的设定应结合外部信息、合理性约束或经验上可接受的偏离幅度，避免把敏感性分析变成纯主观猜测。
6.3 情景分析与范围约束的实践
敏感性分析常通过情景（scenarios）呈现不同机制假设组合。范围约束包括：限制缺失概率在 \([0,1]\) 内；限制机制偏离的幅度不至于与常识或既有证据冲突；必要时采用可解释的界限（例如基于效应大小或差异幅度）。
实践上，情景数量不宜过多，应保证覆盖主要不确定来源，同时保持可读性。
6.4 结果汇报的透明度规范
汇报敏感性分析时应明确：采用的机制参数形式、范围选择依据、模型拟合细节（若有）、以及随参数变化的关键结论曲线或表格。透明度有助于读者判断结论的脆弱性，而不仅仅看到一个“在某假设下显著”的结果。
同时要区分：点估计、区间、以及由机制不确定性引入的额外解释层次。
7 实务诊断与“机制线索”（不等同于机制证明）
诊断的作用是收集机制相关线索，并评估某些假设的可行性；它们通常不能直接证明某个机制一定成立。把诊断误当成“机制证明”是常见错误。
7.1 缺失模式的描述统计与可视化
从描述层面入手，包括缺失比例分布、按变量分组的缺失率、缺失之间的共现结构等。可视化可采用热力图、条形图或缺失矩阵表示，以便快速发现集中缺失、分块缺失或特定子群缺失更高的现象。
这些观察为后续建模或敏感性分析提供线索，但不能单凭此判断机制类型。
7.2 与观测变量的关联检验：能说明什么、不能说明什么
检验缺失指标与某些观测变量的关系，可能表明缺失与已观测因素相关，从而支持 MAR 的一种可操作版本（即机制可以由观测集解释）。但检验无法直接排除 MNAR：即使缺失与观测变量不相关，也可能仍与未观测结果相关。
因此，关联检验更像是“机制可能利用哪些信息”的提示，而不是机制完备性的证明。
7.3 分组比较与分层缺失率分析
将样本按关键协变量分层，比较不同组的缺失率与缺失条件下的观测分布，可以识别潜在选择机制。例如若某些群体更容易缺失且其观测结果也系统不同，则需要在分析中更重视权重或插补模型中对这些变量的处理。
分层分析也能揭示模型过度依赖单一总体缺失率的风险。
7.4 规格错误风险与过度解读的“反梗”提醒
一个反梗式提醒是：相关不等于因果；同样地，“看起来像 MCAR”也不等于真的 MCAR。诊断过程可能产生过拟合或规格错误：例如缺失指标被某个模型变量拟合得很好，但该变量并不是真正驱动因素，或模型漏掉了关键混杂。
因此，诊断结果应用于指导假设强度与变量纳入，而非当作最终裁决。
8 研究设计层面的预防策略
缺失机制的关键线索往往在研究设计阶段就已经被决定。通过减少缺失、改善测量与优化随访，可以降低对强机制假设的依赖，并提升后续推断的稳定性。
8.1 采集流程与减少缺失的工程手段
工程与流程层面的手段包括：表单校验与必填项设置、减少操作步骤、优化访谈时长、使用合理的数据采集提示与回访提醒等。良好的数据采集能降低随机失败，也可能减少由特定流程造成的系统性缺失。
从机制角度讲，目标是让缺失更接近与观测信息无关或更容易被观测信息解释的情形。
8.2 随访策略与回收机制
随访设计决定缺失的“生成过程”。例如，多轮联系与不同渠道回收（电话、短信、线下）可能减少只对某类人群有效的选择偏差。回收机制还包括：记录无法联系的原因、记录失访时间点等，这些信息能用于更精细的缺失过程建模。
保留过程性信息往往能把不可观测的驱动因素转化为可观测线索。
8.3 测量一致性与缺失相关性的降低
测量一致性涉及设备、批次、量表版本、评分规范等。测量随时间或场地漂移可能造成“某类情况下更容易缺失或更难完成测量”，从而使缺失与潜在结果关联增强。
通过统一测量与质量控制，可以降低缺失与隐含状态之间的联系强度。
8.4 预注册：把缺失机制假设写进分析计划
预注册有助于将缺失处理策略与机制假设透明化。典型做法包括：明确缺失类型的诊断计划、主要分析采用的缺失处理方法、敏感性分析中机制参数化方案或情景边界等。
这样可以减少事后调整（data dredging）带来的解释风险，也提高可复现性。
9 术语与常见误区
缺失机制的概念容易被简化或误用。对术语边界的澄清有助于避免“把假设当结论”。
9.1 “缺失机制”和“缺失机制猜测”的区别
缺失机制指在模型层面对缺失生成过程作出的结构化假设，并允许导出可验证或可比较的推断结论。缺失机制猜测则更多是经验性推断，缺乏可检验约束与可替代情景的系统呈现。
百科式理解上，重要的是强调：机制是假设与推断之间的桥梁，而不是仅凭直觉给出的一句话。
9.2 MAR并不意味着“忽略缺失就行”
MAR 允许在合适条件下对缺失过程“不过度关注”，但并不意味着可以直接丢弃缺失或用简单单值填补。只要缺失与观测变量相关，样本组成仍可能改变；因此需要在分析中显式处理这种选择结构，例如通过插补或加权。
9.3 MCAR并非越少越好，而是需要条件成立
MCAR 的成立是条件命题，不是缺失比例的函数。缺失比例低只是让误差可能较小，但并不保证缺失与数据无关。若机制并未满足 MCAR，即使缺失很少仍可能产生系统偏差，只是偏差大小未必显著。
9.4 常见表述偏差：把相关性当因果、把机制当事实
在写作与汇报中，常见偏差包括：把“缺失与某协变量相关”直接写成“缺失由该协变量导致”；把“模型假设为 MAR”写成“研究表明 MAR 为真”。更稳健的表述应区分：诊断线索、机制假设、以及敏感性范围下的结论。
10 参考方法的选择指南（快速决策框架）
方法选择取决于目标推断、可获得信息与可接受风险。下面给出快速决策的思路框架，用于在不同约束下选取合适工具，并明确需要的机制假设强度。
10.1 以目标推断为导向的选择
若目标主要是回归参数或预测，插补与加权往往更灵活；若目标是因果效应或需保持特定识别结构，则缺失处理应与因果建模框架相一致，并可能更依赖机制的结构化假设与敏感性分析。
10.2 以可获得信息为导向的选择
当能记录较多与缺失相关的过程性变量或辅助协变量时，MAR 相关的策略（如基于观测集的插补或加权）通常更可行；当可用信息有限且高度怀疑 MNAR 时，更需要 MNAR 参数化的敏感性分析，并降低对单一模型结论的依赖。
10.3 以风险容忍为导向的选择
若对偏差容忍较低，应尽量避免简单填补或仅完全删除，并采用带不确定性合并的策略（例如多重插补）或采用加权并检查稳定性；若资源有限，可先用较稳健的主方案（如多重插补）建立基线，再通过机制参数化情景进行敏感性补充。
10.4 报告模板：机制假设、诊断证据与敏感性分析
一个便于审阅的报告模板通常包括： 1）明确主要分析采用的机制假设（例如 MAR 及其条件集合）。 2）给出缺失模式描述与关键诊断证据（缺失率分布、与观测协变量的关联线索）。 3）说明方法选择理由（为何该方法与机制假设相兼容）。 4）呈现敏感性分析：MNAR 情景或参数范围、结论随机制变化的趋势。
通过这种结构，读者可以更清楚地看到“结论依赖哪些假设”以及“在合理范围内是否稳健”。