1 基本概念
多重比较校正是指在同一研究中同时进行多个统计检验时，用于控制整体错误率的一类方法。若不加处理，检验次数越多，偶然出现“显著”结果的机会就越大，从而容易把随机波动误判为真实效应。校正的核心目的，是让统计结论在整体上更稳健，而不是仅依赖单次检验的表面显著性。
1.1 多重比较问题的来源
多重比较问题通常出现在研究者需要同时考察多个组别、多个变量或多个假设时。每个检验都有自身的显著性判断标准，但当这些检验被放在同一研究框架中时，单个检验的错误会累积，形成整体上的误差膨胀。也就是说，即使每个检验的第一类错误率都被控制在较低水平，整体仍可能出现较高的误报概率。
1.2 错误率膨胀与虚假阳性
在重复检验中，最常见的问题是虚假阳性增加。若显著性水平固定为 0.05，并独立执行多次检验，那么至少出现一次“显著”结果的概率会随着检验数量增加而上升。由此产生的结果可能看似支持某种假设，但实际上只是随机噪声所致。多重比较校正正是为抑制这类错误而设计。
1.3 研究中的典型触发场景
多重比较并不局限于某一学科，而是广泛存在于各类实证研究中。凡是需要并行判断多个假设、多个参数或多个组间差异的场景，都可能触发这一问题。
1.3.1 多组均值比较
当研究者比较三个及以上组别的均值差异时，往往会进一步进行成对比较，以识别具体哪些组之间存在差异。此时检验数量迅速增加，若仅依赖单个 t 检验的标准，容易夸大差异的存在。
1.3.2 多变量回归检验
在回归分析中，模型通常包含多个自变量，每个系数都可能被单独检验是否显著。若变量很多，尤其是在控制变量较多的情况下，部分变量出现显著结果可能只是偶然现象，因此常需要考虑整体的多重检验控制。
1.3.3 高通量数据分析
基因表达、蛋白组、神经影像和大规模传感数据等场景中，往往同时检验成百上千甚至更多的指标。这类高通量研究最容易出现错误率膨胀，因此也最依赖系统性的校正方法。
1.4 校正的基本目标
多重比较校正的基本目标，是在保证结论可靠性的前提下，尽量减少误报。不同方法可能侧重于控制家族错误率、假发现率或其他指标，但共同点都是将“多次检验带来的额外风险”纳入判断标准。换言之，校正不是简单提高门槛，而是重新定义“足够显著”的标准。
2 统计学原理
多重比较校正的理论基础，来自对错误类型、显著性水平和整体推断框架的重新界定。它并不改变样本本身，而是调整我们解释数据的规则。
2.1 第一类错误与家族错误率
第一类错误是指在原假设为真的情况下错误拒绝原假设。多重比较中，研究者通常不只关心某一次检验是否出错，而是关心一组检验中至少发生一次错误的可能性，这便引出了家族错误率的概念。
2.1.1 第一类错误的定义
第一类错误也称假阳性，是把不存在的效应判定为存在。其概率通常由显著性水平表示。单次检验里，这一概率可由研究者预先设定，但当检验重复进行时，实际的总体误报风险会高于单次设定值。
2.1.2 家族错误率的含义
家族错误率是指在一组相关或同类假设检验中，至少出现一次第一类错误的概率。这里的“家族”不必指生物学意义上的家庭，而是指同一分析集合中的检验群。控制家族错误率，意味着让整个检验集合的总体误报风险保持在可接受范围内。
2.2 第二类错误与统计功效
除了防止误报，多重比较校正还会影响发现真实效应的能力。过于严格的校正可能降低统计功效，使一些实际存在的差异难以被检出。
2.2.1 校正严格性对功效的影响
校正越严格，拒绝原假设所需的证据越强，结果就是假阴性风险上升。尤其在样本量不大、效应较弱或噪声较高的研究中，这种影响更明显。研究者常需在控制错误与保持灵敏度之间作出取舍。
2.2.2 假阳性与假阴性的权衡
多重比较校正本质上是在假阳性和假阴性之间寻找平衡。若标准过松，容易报告不存在的效应；若标准过严，则可能漏掉有意义的发现。不同学科、不同研究目的所能接受的风险并不相同，因此不存在适用于所有情境的单一最优方案。
2.3 p值与显著性阈值
p值是单次检验中观察到当前结果或更极端结果的概率指标，而多重比较校正往往通过调整 p值或显著性阈值来实现。
2.3.1 原始p值与调整后p值
原始p值反映的是未经校正的单次检验结果。调整后p值则是在多重检验背景下重新计算或修正后的结果，用于与校正后的阈值配套判断。二者不能混为一谈，因为前者不足以代表整体错误风险。
2.3.2 阈值重设的逻辑
阈值重设通常意味着把单次检验的显著性标准压低，以补偿多次比较带来的风险累积。某些方法采用统一更严格的门槛，另一些则根据排序、依赖结构或发现率目标动态设定标准。其共同逻辑，是让整体判断标准与检验规模相匹配。
3 常见校正方法
多重比较校正方法大体可分为保守型、序贯拒绝法、基于发现率的方法和基于重采样的方法。不同方法对应不同控制目标，适合的研究场景也不相同。
3.1 保守型方法
保守型方法通常以较强的错误控制为目标，适合对误报特别敏感的研究场景，但代价是统计功效较低。
3.1.1 Bonferroni 校正
Bonferroni 校正是最经典、最直接的方法之一。其做法是将显著性水平除以检验次数，或者等价地将每个 p值与更严格的阈值比较。它实现简单、解释直观，但在检验数很多时往往过于保守。
3.1.2 Sidak 校正
Sidak 校正与 Bonferroni 类似，但在独立检验假设下略为不那么保守。它根据联合错误概率推导阈值，因此在某些场景中能保留更多统计功效，不过其适用条件对独立性更敏感。
3.2 序贯拒绝法
序贯拒绝法依据 p值排序，按一定顺序逐步判断哪些假设可以拒绝。相比一次性统一阈值，这类方法通常更有效率。
3.2.1 Holm 校正
Holm 校正是 Bonferroni 的改进版本，先将 p值排序，再逐步使用递减或递增的门槛进行判断。它在控制家族错误率方面仍然稳健，但通常比简单 Bonferroni 更有统计功效，因此应用非常广泛。
3.2.2 Hochberg 方法
Hochberg 方法也是一种基于排序的逐步程序，通常比 Holm 更有力，但其成立条件更依赖于检验之间的结构特征。它适合某些相对规则的多重检验情形，但在使用时需要注意前提假设。
3.3 基于发现率的方法
基于发现率的方法不追求完全杜绝误报，而是控制被判为显著结果中错误发现的比例。这类方法在高维数据分析中尤其常见。
3.3.1 Benjamini-Hochberg 方法
Benjamini-Hochberg 方法是控制假发现率的经典程序。它先对 p值排序，再依据排名确定可以拒绝的最大范围。与强控制家族错误率的方法相比，它通常更宽松，因而在保留真实发现方面更有优势。
3.3.2 Benjamini-Yekutieli 方法
Benjamini-Yekutieli 方法是在相关检验环境下对假发现率控制的扩展。它比 Benjamini-Hochberg 更稳妥，能够应对更一般的依赖结构，但相应地也更保守一些。
3.4 基于重采样的方法
基于重采样的方法利用数据本身估计在多重比较下的误差分布，因而能够更贴近具体研究情境。
3.4.1 permutation-based 校正
置换校正通过重新排列标签或组别，构造在原假设下的经验分布，再据此评估整体显著性。它对数据分布的假设较少，尤其适用于难以满足经典参数条件的研究。
3.4.2 bootstrap 辅助校正
自助法辅助校正借助重复抽样来估计统计量的不确定性，并帮助修正多重比较带来的偏差。它常用于复杂模型或难以直接推导分布的情形，但实现上通常比解析方法更耗计算资源。
4 应用场景
多重比较校正几乎贯穿所有以统计推断为基础的领域。凡是有系统性筛选、对照比较或大规模参数检验的地方，都可能需要它。
4.1 临床与医学研究
在临床试验和医学观察中，研究者常同时比较多个终点、多个亚组或多个治疗指标。若不进行校正，可能把偶然差异当作治疗效果，从而影响结论的可信度。因此，医学研究通常对多重检验尤为谨慎。
4.2 基因组学与组学分析
基因组学、转录组学和蛋白组学等领域往往涉及海量并行检验。这里的重点不是寻找单个“最显著”的结果，而是从大规模候选中筛选出可信信号。假发现率控制因此成为非常常见的分析策略。
4.3 心理学与行为科学
心理学实验常包含多个量表维度、多个实验条件或多个时间点的比较。由于效应大小往往并不极端，若频繁进行未校正比较，容易夸大研究发现。多重比较校正在此类研究中有助于提升结果稳定性。
4.4 社会科学与教育评估
社会科学和教育评估中，研究对象常涉及多个群体、多个地区、多个指标或多个政策变量。研究者在解释这些差异时，需防止把偶然波动误认为结构性差异。适当的校正能帮助结果更符合实际。
4.5 机器学习中的多重检验
在机器学习分析流程中，多重比较问题常以筛选、评估和调参的形式出现。虽然其术语未必完全沿用传统统计学，但错误控制的逻辑是相通的。
4.5.1 特征筛选
在大量特征中挑选与目标相关的变量时，很多候选特征都会被同时检验。若不控制多重比较，某些“有用特征”可能只是噪声的产物。
4.5.2 模型比较
在对多个模型进行性能比较时，如果反复尝试并只汇报最好的一组结果，就可能产生选择偏差。多重比较校正可以帮助减轻这种“多试多得”的误导。
4.5.3 超参数搜索中的风险控制
超参数搜索本质上也是一种多次尝试。若在众多配置中反复试验并仅保留最优结果，模型性能容易被高估。将验证流程设计得更规范，或对比较结果进行适当校正，有助于降低这种风险。
5 方法比较与选择
不同校正方法并无绝对优劣，关键在于研究目标、检验结构和容错要求。选择时需要综合考虑错误控制强度与发现能力。
5.1 不同校正方法的适用条件
若研究强调少报错、宁可漏掉一些边缘信号，保守型方法更合适；若研究处于探索阶段，希望尽量保留候选信号，假发现率控制往往更实用。重采样方法则适合数据结构复杂、理论分布难以直接处理的情境。
5.2 严格控制与宽松控制的差异
严格控制通常针对家族错误率，适合确认性研究；宽松控制则更关注发现率，更适合探索性分析。前者偏向“宁缺毋滥”，后者偏向“尽量不漏”。两者的差异并非技术细节，而是研究策略上的不同取向。
5.3 独立性与相关性假设
有些方法默认检验之间独立或近似独立，而现实数据中检验往往存在相关性。若忽视这一点，可能导致校正过松或过严。选择方法时，应尽量考虑变量之间、样本之间以及模型之间的依赖结构。
5.4 样本量与检验数量的影响
样本量较小而检验数量很多时，校正后可用的统计功效会明显下降。相反，样本量较大时，即使经过校正，也更容易检测到稳定效应。因此，方法选择不能脱离研究规模本身来谈。
5.5 方法选择的实务原则
实务中通常建议根据研究目的先确定控制指标，再选取相匹配的方法。确认性研究宜优先考虑更严格的控制，探索性研究可适当采用发现率框架。若结果将用于决策、临床或公开报告，则透明说明方法和阈值尤为重要。
6 结果解释与报告
多重比较校正不仅影响计算结果，也影响研究报告的表达方式。正确解读调整后的结果，有助于避免夸大结论。
6.1 调整后p值的解读
调整后p值并不表示“真实效应更强”或“结果被修正成正确答案”，而只是说明在多重检验背景下，该结果仍然达到某种控制标准。它是推断规则的产物，而不是效应大小本身的度量。
6.2 显著性结论的表述方式
在表述结论时，应明确说明采用了何种校正方法、控制了哪类错误率，以及阈值如何设定。与其笼统地说“显著”，不如说明“经某种校正后仍显著”或“未通过多重比较校正”。这样更便于读者理解结论的强度。
6.3 图表与附录中的呈现
在图表中展示原始 p值、调整后 p值、置信区间或排序结果，有助于提高信息透明度。对于检验数量很多的研究，附录中列出全部比较结果通常比只报告显著项更完整，也更利于复核。
6.4 研究可重复性与透明报告
多重比较校正与可重复性密切相关。若研究只公布经过筛选的显著结果，而不说明完整比较集合，读者难以判断报告是否受到选择偏差影响。清楚记录分析流程、阈值和校正方法，是透明报告的重要部分。
7 常见误区
多重比较校正常被误解为“只要做了就一定更科学”。实际上，校正有其适用范围，也有边界条件。
7.1 把校正等同于“修正结果”
校正并不会把错误结果自动变成正确结果，也不会提升数据质量本身。它只是改变统计判断标准，减少偶然显著被误认为真实效应的机会。
7.2 忽视检验之间的相关性
若多个检验高度相关，却仍机械套用某些默认独立性的公式，可能影响控制效果。相关结构不容忽视，尤其在重复测量、空间数据或组学数据中更是如此。
7.3 过度保守导致结果难以发现
有些研究为了避免误报，采用过于严格的校正方式，结果几乎不可能检出真实差异。这样虽然表面上“安全”，但也可能让有价值的信号被淹没。
7.4 误用多重比较校正的范围
并非所有统计判断都属于同一个“检验家族”。如果把彼此无关的分析混在一起统一校正，可能不必要地降低功效；反过来，若应纳入的比较被遗漏，则会低估误差风险。
7.5 将假发现率与家族错误率混淆
假发现率与家族错误率控制的是不同层面的错误。前者关注被判显著结果中的错误比例，后者关注整个检验集合中是否至少出现一次错误。把二者混为一谈，容易导致方法选择和结果解释都出现偏差。
8 相关概念
多重比较校正与一系列统计推断概念密切相关，理解这些概念有助于更准确地使用相关方法。
8.1 事前假设与事后比较
事前假设是在数据分析前就明确提出的检验目标；事后比较则常在看过数据后再进行探索性判断。后者更容易引入选择偏差，因此更需要校正和透明说明。
8.2 置信区间的多重推断
多个置信区间同时使用时，也会出现整体覆盖率下降的问题。虽然人们常把注意力集中在 p值上，但置信区间同样涉及多重推断风险，因此也可能需要相应调整。
8.3 多重建模与模型选择
当研究者比较多个模型、多个变量组合或多个候选解释时，本质上也在进行多重判断。若只报告最佳模型而不说明比较过程，结论可能偏向偶然最优，而非真正稳定的结构。
8.4 元分析中的多重比较问题
元分析通常汇总多个研究结果，但在分组分析、亚组分析或敏感性分析中，仍可能出现多重检验问题。此时也需要适当控制误差，以防从汇总数据中得出过度解读。
8.5 预注册与分析计划
预注册和事先制定分析计划，可以减少事后挑选显著结果的空间。虽然它们不直接替代多重比较校正，但与校正方法结合使用时，能够共同提高研究的可信度。
9 历史与发展
多重比较校正的发展，反映了统计学从单次检验走向复杂推断框架的过程。随着数据规模扩大和研究设计日益精细，这一主题的重要性不断上升。
9.1 经典统计学中的起源
早期统计推断主要围绕单个假设检验展开，但在农业试验、医学比较和实验设计中，研究者很快意识到多次比较会带来额外误差。由此，控制整体错误率的思想逐渐形成，并成为经典统计方法的重要组成部分。
9.2 现代多重检验理论
随着统计理论的发展，研究者开始系统区分家族错误率、假发现率等不同控制目标，并提出了更多兼顾功效与稳健性的程序。多重检验不再只是“把门槛调严”，而是形成了较完整的理论体系。
9.3 高维数据时代的发展
在高维数据和大规模筛选任务中，传统的保守方法往往难以满足需求。为适应海量并行检验，假发现率控制和重采样技术得到了广泛应用，推动了多重比较校正在生物信息、医学统计和数据科学中的普及。
9.4 软件实现与标准化应用
随着统计软件和编程工具的成熟，多重比较校正已成为常规分析流程的一部分。许多统计软件都内置了常见方法，使研究者能够较方便地实施校正。与此同时，标准化报告格式也逐渐形成，进一步推动了该方法的规范使用。