1 基本概念
1.1 多重比较的定义
多重比较是指在同一研究框架下，对多个假设、多个组别或多个参数进行同时检验或比较的一类统计活动。其重点不在于单个检验本身，而在于当比较数量增加后，整体错误率如何变化，以及应采用何种校正策略来维持结论的可靠性。
1.2 多重比较的研究背景
多重比较问题随着实验设计与现代数据分析的发展而受到重视。在早期统计应用中，研究者常常只关注少量预设比较；而在组别增多、指标增多、数据规模扩大之后，偶然出现“显著结果”的概率明显上升，因此需要专门的方法来控制整体误差。
1.3 多重比较与单次检验的区别
单次检验通常针对一个明确的原假设展开，显著性判断相对直接；多重比较则同时涉及多个假设，若仍沿用单次检验的阈值，整体误判风险会被放大。换言之，前者关注“某一结论是否成立”，后者更关注“一组结论中有多少可能只是随机波动”。
1.4 多重比较中的常见统计问题
多重比较最常见的难点，来自错误率、功效与解释方式三者之间的平衡。比较越多，越容易产生表面显著但实际不稳健的结果；而校正越严格，越可能错过真实差异。
1.4.1 第一类错误膨胀
当多个检验同时进行时，即便每个检验的单独显著性水平不变，至少出现一次假阳性的总体概率也会增加。这种现象称为第一类错误膨胀，是多重比较校正的核心动因。
1.4.2 统计功效下降
为降低误报率，常需采用更严格的判定标准，这会使真实效应更难被检出。于是，控制错误与保留发现能力之间形成张力，尤其在样本量有限时更为明显。
1.4.3 结果解释偏差
如果研究者事后挑选最有利的比较结果，容易造成对效应大小和稳定性的高估。此类偏差并不总是源于计算错误，而常来自报告方式和解读习惯。
2 假设检验基础
2.1 原假设与备择假设
多重比较仍建立在假设检验框架之上。原假设通常表示“无差异”或“无关联”，备择假设则表示存在差异、关联或效果。多个检验并行时，实际上是对一组原假设分别作出判断。
2.2 显著性水平
显著性水平是事先设定的拒绝阈值，用于控制单个检验中误拒原假设的概率。多重比较时，研究者常需在“单次水平”与“整体水平”之间重新分配这一定值。
2.3 P值与误拒率
P值衡量的是在原假设成立时，观察到当前或更极端结果的概率。它并不直接表示结果的重要性，也不等于真实假设为真的概率；在多重检验背景下，P值还需要结合整体误拒率来解释。
2.4 检验的独立性与相关性
多个检验之间是否相互独立，会显著影响校正方法的保守程度与适用性。独立情形下，整体错误率的推导较为简单；若检验结果彼此相关，则需要更谨慎地处理依赖结构。
2.4.1 独立检验情形
若各检验对应的数据相互独立，很多经典校正法可以直接使用，且理论性质较清晰。这类场景常见于互不影响的多个实验终点或多个平行子样本分析。
2.4.2 相关检验情形
当多个比较共享样本、变量或误差结构时，检验结果往往相关。相关性可能降低或改变整体误差膨胀程度，因此不能简单把所有比较当作彼此无关来处理。
3 多重比较的典型场景
3.1 多组均值比较
在多个组别之间比较均值差异时，若进行大量两两对比，极易出现偶然显著。实验研究、教育评估和工业测试中都常见这种情形。
3.2 多个比例比较
当研究对象是事件发生率、成功率或阳性率时，多个比例的同时比较同样会引入多重检验问题。此类分析常用于质量控制、流行病调查和A/B测试。
3.3 多个相关系数比较
在探索不同变量之间联系时，研究者可能同时检验多个相关系数是否显著。这种做法在心理测量、生态统计和特征筛选中较为常见。
3.4 事后比较分析
事后比较是指在总体检验之后，对具体组间差异进一步展开分析。由于这些比较往往不是事先唯一指定的，因此通常需要更严格的误差控制。
3.5 预先计划的比较
若研究设计阶段已明确指定比较对象与假设，相关检验通常比事后筛选更具解释性。预先计划的比较可以减少数据驱动的任意挑选，但仍需考虑整体错误率。
3.6 多终点研究
在临床试验或综合评价中，一个研究可能同时观察多个终点，如疗效、安全性和功能指标。终点越多，越需要明确主要终点与次要终点之间的层级。
3.7 大规模同时检验
在高维数据分析中，成千上万甚至更多的假设可能同时被检验，例如基因表达、特征选择或图像分析。此时，多重比较问题会从“附属问题”变成分析核心。
4 错误率控制
4.1 家族错误率
家族错误率指在一个预先定义的检验集合中，至少发生一次第一类错误的概率。它是传统多重比较控制中最常使用的整体指标之一。
4.2 全局显著性水平
全局显著性水平是对整组比较统一设定的错误容忍上限，强调的是“整体上是否安全”。它与单个检验的阈值不同，常用于家族层面的推断控制。
4.3 第一类错误控制
第一类错误控制关注减少把无效结果误判为有效结果的风险。不同方法对这一风险的控制强弱不同，研究者应根据目标选择更严格或更宽松的策略。
4.4 第二类错误与功效权衡
控制第一类错误通常会提高第二类错误风险，即真实差异被漏检的概率。如何在降低误报与保持检出能力之间折中，是多重比较设计中的关键议题。
4.5 错误率控制的边界条件
错误率控制并非在所有情境下都能无条件适用。例如，当研究目标本身偏探索性、假设数量极多或变量间高度相关时，单一的整体错误指标可能不足以完全描述结果质量。
5 经典校正方法
5.1 Bonferroni 校正
Bonferroni 校正通过将显著性水平按比较次数分摊来控制整体误报率。它简单直观，适用范围广，但在比较数量较多时往往较为保守。
5.2 Sidak 校正
Sidak 校正是在独立检验假设下推导出的另一种整体控制方法。与Bonferroni相比，它通常略宽松一些，但对独立性条件更敏感。
5.3 Holm 步进法
Holm 方法是一种逐步调整的程序，先对最小P值作判断，再依次处理其余比较。它在保持较强控制能力的同时，通常比简单的Bonferroni更有功效。
5.4 Hochberg 方法
Hochberg 方法也是一种步进程序，适用于特定条件下的多重检验控制。相较于单纯的逐项校正，它往往能保留更多真实信号。
5.5 Hommel 方法
Hommel 方法属于更精细的闭合式校正程序，在某些情形下比Holm和Hochberg更具效率。其计算与理解相对复杂，但在理论上具有较好的整体控制性质。
5.6 Šidák-Hochberg 类方法
这类方法结合了Sidak型阈值与步进思想，目的是在控制错误率的前提下提高检出能力。实际应用中，它们常作为经典程序的变体出现。
6 方差分析后的多重比较
6.1 事后检验的概念
方差分析通常先判断总体上是否存在组间差异，随后再通过事后检验定位具体差异来源。由于涉及多个比较，事后检验一般需要专门的误差控制策略。
6.2 Tukey HSD 方法
Tukey HSD 主要用于所有组间两两比较，适合样本量相近、方差齐性较好的情况。它在控制整体错误率方面较为经典，常见于实验数据分析。
6.3 Dunnett 检验
Dunnett 检验常用于多个处理组与同一对照组的比较。由于比较目标集中于“各处理相对对照”的差异，它比全体两两比较更有针对性。
6.4 Scheffé 方法
Scheffé 方法适用于更一般的线性比较，尤其在研究者希望对多种可能对比都保持稳健时较有价值。其保护性较强，但通常也意味着较低的灵敏度。
6.5 Newman-Keuls 方法
Newman-Keuls 方法是一种逐层比较程序，历史上应用较广。它的检出能力较好，但整体错误控制不如更严格的方法稳定，因此在现代实践中常被谨慎使用。
6.6 LSD 方法的适用性与局限
最小显著差异法本质上较少校正，通常只在总体检验已显著或比较数量较少时使用。若直接用于大量成对比较，其误报风险会明显上升。
7 多重检验与假发现率
7.1 假发现率的定义
假发现率关注的是被判为显著的结果中，有多少比例实际上是错误发现。它与家族错误率不同，更适合处理大规模同时检验场景。
7.2 Benjamini-Hochberg 方法
Benjamini-Hochberg 方法是控制假发现率的经典程序，尤其适合高维数据分析。它通常比强家族错误控制更有功效，因此在筛选型研究中应用广泛。
7.3 Benjamini-Yekutieli 方法
Benjamini-Yekutieli 方法对检验间相关性的容忍度更高，适用范围更保守。它适合在依赖结构复杂、且希望维持假发现控制的情形下使用。
7.4 FDR 与 FWER 的比较
FDR 更关注被判显著结果中的错误比例，FWER 则关注至少一次错误发生的概率。前者更适合大规模探索，后者更适合高风险、结论敏感的确认性研究。
7.5 大规模数据中的应用
在基因组学、神经影像和机器学习特征筛选中，检验数量极大，若坚持过强的整体错误控制，常会损失过多真实发现。因此，FDR 类方法成为实践中的重要选择。
8 非参数与稳健方法
8.1 秩和检验中的多重比较
当数据不满足正态假设或存在明显异常值时，秩和类检验可用于组间比较。若比较不止一次，仍需对秩检验结果进行多重校正。
8.2 Kruskal-Wallis 之后的比较
Kruskal-Wallis 检验用于多个独立样本的总体差异判断，之后若需定位具体组别差异，通常要进一步做成对比较并进行误差控制。
8.3 成对非参数比较
成对非参数比较常用于等级数据、偏态分布或样本较小的情境。它们在方法上较为灵活，但结果解释仍应结合多重比较校正。
8.4 稳健标准误与稳健推断
在异方差、轻度违背模型假设或数据质量不均衡时，稳健标准误可以改善推断稳定性。与多重比较结合时，稳健推断有助于降低模型失配带来的偏差。
8.5 Bootstrap 在多重比较中的应用
Bootstrap 可通过重采样近似统计量分布，用于构造区间估计或校正步骤。它尤其适合理论分布难以直接获得、而样本结构较复杂的场景。
9 相关结构下的多重比较
9.1 相关检验的联合分布
多个检验若共享同一数据来源，其统计量往往存在联合分布关系。理解这一结构，有助于选择更合适的校正方式，而不是机械套用独立假设下的公式。
9.2 协方差结构对校正的影响
协方差越复杂，整体误差的传播方式越不容易估计。某些校正方法对相关性较稳健，而另一些则可能因依赖结构改变而偏离理论预期。
9.3 配对数据与重复测量
配对设计和重复测量中，同一对象会被多次观察，因此各次观测并非独立。多重比较在这种设计里往往与配对差异、时间效应或条件效应共同出现。
9.4 分层数据与混合效应模型
当数据具有个体层、群组层或时点层的嵌套结构时，混合效应模型可以更自然地描述相关性。在此基础上进行多重比较，通常更符合数据生成机制。
9.5 相关性未知时的近似方法
若相关结构难以精确建模，研究者可采用近似校正、重抽样或保守程序。此类方法往往以一定功效代价换取更稳妥的误差控制。
10 多重比较的设计原则
10.1 预注册与分析计划
预注册有助于明确研究开始前的比较集合和判定标准，减少事后挑选结果的空间。对于需要较强解释力的研究，这一做法尤为重要。
10.2 主要终点与次要终点的区分
在多终点研究中，主要终点应享有更清晰的推断地位，次要终点则通常作为补充信息。这样的分层有助于避免把所有结果视为同等重要。
10.3 比较次数的事先限定
若比较数目可以在设计阶段明确，后续校正就更容易实施，也更利于报告透明。相反，若比较集合不断扩展，结果可靠性往往会下降。
10.4 探索性分析与确认性分析
探索性分析用于发现模式和生成假设，确认性分析则用于验证既有推断。二者不应混为一谈，因为它们对应的错误控制标准并不相同。
10.5 统计功效与样本量规划
在研究设计阶段，应将多重比较对功效的影响纳入样本量计算。若忽略这一点，即使研究总体设计合理，也可能因校正后阈值过严而难以得出明确结论。
11 软件实现与计算
11.1 R 中的常用函数与包
R 提供了较丰富的多重比较工具，涵盖基础校正、事后检验和FDR控制等常见任务。由于生态完善，研究者可较方便地组合不同包完成分析流程。
11.2 Python 中的相关工具
Python 常通过统计建模库与多重检验模块实现相关计算，适合与数据处理和机器学习流程衔接。其优势在于工作流整合度较高，便于批量分析。
11.3 SAS 与 SPSS 的实现
在传统统计软件中，多重比较通常以菜单化或程序化方式提供，适合规范化报告。对于临床与社会科学领域，这些工具仍具有较高使用率。
11.4 自定义校正流程
当标准方法无法完全匹配研究设计时，可编写自定义程序实现特定校正逻辑。此类做法应特别注意公式、输入顺序和输出解释的一致性。
11.5 结果可视化与报告输出
多重比较结果常通过表格、置信区间图或P值图展示，以便读者快速识别差异。可视化的目标不是替代统计推断，而是提升结果的可读性和可核查性。
12 结果解释与报告
12.1 校正前后结果的对比
报告中常需同时呈现校正前与校正后的结论变化，以说明哪些结果在整体控制后仍然稳健。这样可以避免读者误以为所有原始显著性都具有同等可信度。
12.2 显著性与实际意义的区分
统计显著并不必然意味着实践上重要。多重比较情境下尤其如此，因为即便少量比较显著，也可能对应很小的效应差异。
12.3 置信区间的报告方式
除P值外，置信区间有助于展示估计的不确定性。若经过校正，区间也应与所采用的方法保持一致，以免出现解释不匹配。
12.4 多重比较结果的表格呈现
规范的表格通常应列出比较对象、原始统计量、校正方式、调整后P值或区间估计。清晰的结构能降低读者误读和重复计算的成本。
12.5 常见误区与写作规范
常见误区包括只报告显著结果、忽略比较总数、混淆探索与确认、以及把校正后的P值误读为效应大小。写作时应明确方法、阈值和比较范围，避免含糊表述。
13 争议与局限
13.1 过度保守问题
某些严格校正方法虽然能较强地控制误报，却可能压制真实发现。这在比较数量很多、效应较弱但有实际意义的研究中尤为突出。
13.2 低功效与漏检风险
校正越强，越可能降低检出率，导致“没有显著结果”并不等于“没有差异”。因此，多重比较策略需要与研究目标相匹配，而不能一味追求最严标准。
13.3 选择性报告偏差
若研究者只呈现有利结果而省略其余比较，即使方法上进行了校正，整体结论仍可能失真。报告透明度与统计方法同样重要。
13.4 方法适用范围的误解
不同校正法对应不同假设和使用场景，不能简单互相替代。将某一方法当作“万能模板”，往往会带来解释偏差。
13.5 研究结论的稳健性问题
多重比较结果是否稳健，不仅取决于校正方法，也取决于数据质量、模型设定与研究设计。更稳妥的做法，是将统计显著性、效应大小和设计合理性结合起来综合判断。