1 基本概念
1.1 定义与核心思想
组归一化是一种神经网络归一化方法。它将输入特征的通道维度划分为若干组，并在每一组内部计算均值和方差，对组内特征进行标准化处理。其核心思想是：不依赖整个批次的统计量，而是借助样本内部、组内的局部统计信息，减弱特征分布波动对训练的影响。
1.2 归一化在神经网络中的作用
在深度学习中，归一化通常用于缓解不同层之间特征分布变化过快的问题。通过对中间特征进行规范化，模型更容易维持稳定的梯度传播，优化过程也往往更顺畅。对于卷积网络而言，归一化还常被视为一种“训练稳定器”，有助于提升收敛速度并减少对初始化方式的敏感度。
1.3 组归一化的提出背景
组归一化的提出，主要是为了应对批归一化在小批量训练场景中的局限。许多视觉任务由于显存限制，难以使用足够大的 batch size；而当批次过小时，批归一化依赖的批统计量会变得不稳定。组归一化因此成为一种替代方案，尤其适合检测、分割等对批大小较敏感的任务。
2 数学原理
2.1 特征分组方式
设输入特征张量在卷积场景下通常表示为 \(N \times C \times H \times W\)，其中 \(N\) 为批大小，\(C\) 为通道数，\(H\) 与 \(W\) 为空间尺寸。组归一化会将通道 \(C\) 划分为 \(G\) 组，每组包含 \(C/G\) 个通道。计算时，归一化的范围覆盖同一样本内某一组的全部通道及其空间位置。
2.2 均值与方差的计算
2.2.1 组内统计量
对每个样本、每一组单独统计均值与方差。统计对象不是整个批次，而是该样本中该组所包含的所有元素。这样得到的统计量只反映局部特征分布，因此不会受到同批其他样本波动的直接影响。
2.2.2 标准化过程
在得到组内均值和方差后，将组内每个元素减去均值，再除以标准差，从而使其分布趋于零均值、单位方差。该过程可看作是对局部特征空间的重标定，能在一定程度上抑制异常值和数值尺度差异。
2.3 缩放与平移参数
与许多归一化方法类似，组归一化通常配备可学习的缩放参数 \(\gamma\) 与平移参数 \(\beta\)。标准化后的结果会先乘以 \(\gamma\)，再加上 \(\beta\)。这使网络在获得稳定训练的同时，仍保留对特征分布进行灵活恢复和调整的能力。
2.4 计算公式与符号说明
常见表示中，可将某样本某组的归一化写为： \[ y = \gamma \cdot \frac{x - \mu_g}{\sqrt{\sigma_g^2 + \epsilon}} + \beta \] 其中，\(x\) 表示输入特征，\(\mu_g\) 和 \(\sigma_g^2\) 分别为组内均值与方差，\(\epsilon\) 是防止除零的小常数，\(\gamma\) 与 \(\beta\) 为可学习参数。该公式强调的是“按组、按样本”进行规范化，而非跨样本统计。
3 工作机制
3.1 前向传播流程
在前向传播中，输入特征先按通道分组；随后在每个样本的每一组内计算统计量；接着执行标准化；最后通过缩放和平移恢复表达能力。整个过程不需要维护跨批次的滑动均值或滑动方差，因此实现逻辑相对简洁。
3.2 训练阶段与推理阶段的一致性
组归一化在训练和推理阶段采用相同的计算方式。由于它不依赖历史批统计量，也不需要像批归一化那样在推理时切换到全局均值方差，因此两阶段行为更一致，减少了训练-推理不匹配带来的误差来源。
3.3 不依赖批大小的原因
其统计量来自单个样本内部的分组特征，而不是来自一个 batch 中的多个样本。因此，无论批大小是大是小，单个样本的归一化过程都保持稳定。这也是它在显存受限、只能使用小 batch 的任务中表现突出的关键原因。
4 与其他归一化方法的比较
4.1 与批归一化的区别
批归一化按通道统计一个批次内的均值和方差，依赖 batch size。组归一化则不使用批维统计量，而是按样本内分组计算。前者在大批量时效果常较好，但小批量下可能波动明显；后者对 batch size 不敏感，更适合小批量训练。
4.2 与层归一化的区别
层归一化通常对单个样本的所有通道共同统计，范围更大、更“整体”。组归一化介于批归一化与层归一化之间：它既不跨样本，也不将所有通道完全合并，而是折中地在组内计算。因而它在卷积特征上往往更具针对性。
4.3 与实例归一化的区别
实例归一化可以看作每个通道单独归一化，统计范围更细。组归一化则在多个通道构成的组内归一化，保留了组内通道之间的一定关联。相较实例归一化，组归一化通常拥有更强的表达灵活性；相较层归一化，它又保留了更细粒度的结构信息。
4.4 适用场景差异
批归一化更适合较大 batch 的常规训练流程；层归一化常见于序列建模与部分非卷积结构；实例归一化在风格迁移等任务中使用较多；组归一化则在检测、分割、微批训练等场景中更受欢迎，尤其适合卷积网络的中间特征处理。
5 超参数与设计选择
5.1 组数的设置
组数是组归一化中最重要的设计参数之一。组数越多，每组包含的通道越少，归一化越“细”；组数越少，每组覆盖的通道越多，统计范围越“粗”。实际使用中通常需要根据通道数和任务特点进行折中。
5.2 通道数与组大小的关系
组数必须与通道数匹配，通常要求通道数能够被组数整除。若通道数较少，组数不宜过大，否则每组元素数量太少，统计会变得不稳定。若通道数较多，则可采用更多组，以增强局部归一化的灵活性。
5.3 组数选择对性能的影响
组数设置会影响模型的归一化强度与表达能力。组数过少时，特征可能被过度平滑；组数过多时，则可能导致统计信息不足。不同任务、不同网络深度、不同数据规模下，最佳组数可能并不相同，因此常需结合验证集进行调优。
5.4 常见配置经验
在视觉模型中，常见做法是将组数设为一个固定值，如 16 或 32；若通道数较小，则可能选用更少的组数，避免每组过窄。工程实践中还会根据主干网络的各层通道规模进行统一或分层设置，以减少实现复杂度。
6 优点与局限性
6.1 优点
6.1.1 小批量训练优势
组归一化最大的优势之一，是在小 batch 条件下仍能保持较稳定的训练表现。对于显存有限的高分辨率图像任务，或者必须采用微批训练的场景，这一点尤为重要。
6.1.2 稳定性与泛化能力
由于统计量来源于样本内部，训练过程通常更平滑，受批次采样扰动的影响较小。很多情况下，它还能帮助模型获得更稳健的特征表示，从而改善泛化表现。
6.2 局限性
6.2.1 对分组方式的敏感性
组归一化的效果会受到组数和通道组织方式的影响。若分组不合理，可能削弱特征间的相关性建模能力，或使局部统计信息过于稀疏，影响性能。
6.2.2 在部分任务中的性能边界
在某些批量足够大、且批统计信息十分有价值的任务中，批归一化仍可能具有优势。组归一化并非在所有场景都能全面超越其他方法，其收益通常与模型结构、数据规模和训练设置密切相关。
7 应用场景
7.1 图像分类
在图像分类中，组归一化可用于替代或补充卷积网络中的归一化层，尤其是在小 batch 训练时。它有助于提升训练稳定性，并减少因批大小变化导致的性能波动。
7.2 目标检测
目标检测模型往往因输入分辨率高、特征金字塔复杂而面临显存压力，batch size 常较小。组归一化因此被广泛用于检测主干或颈部网络中，成为常见的工程选择。
7.3 实例分割
实例分割任务对高分辨率特征和细粒度定位要求较高，训练时通常难以使用大批量。组归一化在这一类任务中较为常见，可帮助模型在小批量设置下维持稳定收敛。
7.4 生成模型
在部分生成模型中，组归一化也被用于稳定中间特征的分布，辅助生成器更顺畅地学习复杂映射。它在图像生成和图像到图像转换类任务中有一定应用基础。
8 实现与工程应用
8.1 深度学习框架中的接口
主流深度学习框架通常都提供了现成的组归一化模块，使用者只需指定通道数和组数即可调用。接口设计一般与其他归一化层保持一致，便于在已有网络中直接替换。
8.2 代码实现思路
从实现角度看，组归一化的关键在于重排张量维度并按组计算统计量。常见流程是：先将通道维切分为 \(G\) 组，再对每组的所有元素求均值和方差，随后完成标准化、仿射变换，并恢复原始张量形状。
8.3 与卷积层的组合方式
组归一化通常放在卷积层之后，也可插入激活函数之前或之后，具体顺序取决于网络设计。由于它对批大小不敏感，在残差块、检测头和分割头中都较容易集成。
8.4 常见调参实践
工程上常会优先固定组数，再观察验证集表现；若训练不稳定，则检查组大小是否过小或通道是否难以整除。对于不同阶段的网络层，也可能采用不同归一化策略，以兼顾效率与效果。
9 相关研究与发展
9.1 代表性论文
组归一化最具代表性的工作是提出该方法的原始论文。该研究系统比较了批归一化在小批量条件下的不足，并展示了组归一化在视觉任务上的有效性，为后续广泛应用奠定了基础。
9.2 后续改进方法
在后续研究中，围绕组归一化的改进主要集中在更灵活的分组策略、更高效的实现方式以及与网络结构的协同设计上。一些方法尝试让分组方式可学习，另一些则关注在不同任务中自动选择合适的归一化形式。
9.3 与其他归一化技术的融合
在实际模型中，组归一化有时会与其他归一化技术结合使用。例如，在不同模块中混合采用不同归一化策略，以适应特征尺度和训练阶段的变化。这类组合设计常出现在大型视觉系统和多分支网络中。
10 术语与参考延伸
10.1 归一化相关术语
归一化、标准化、均值、方差、通道、批次、组内统计量、缩放、平移等，都是理解组归一化时常见的基础术语。它们共同描述了特征重标定与数值稳定化的基本过程。
10.2 常见英文缩写
Group Normalization 常缩写为 GN。与之相关的常见缩写还包括 Batch Normalization 的 BN、Layer Normalization 的 LN，以及 Instance Normalization 的 IN。
10.3 进一步阅读方向
若要进一步了解组归一化，可继续阅读深度学习中的归一化技术比较、卷积网络训练技巧、检测与分割模型中的小批量优化实践，以及不同归一化方法在特定任务上的实验分析。