1 概念与定义
1.1 基本含义
批归一化是一种用于神经网络训练的归一化技术，通常在小批量样本上对特征进行标准化处理，并配合可学习参数恢复或调整表示能力。其核心思路是先将输入特征拉回到较稳定的数值范围，再让网络自行学习最合适的尺度与偏移。
在实际训练中，批归一化常插入在卷积层或全连接层之后、激活函数之前或之后，以减轻中间特征分布剧烈变化带来的训练不稳定问题。
1.2 术语来源
“Batch”指小批量数据，“Normalization”指归一化或标准化。二者合在一起，表示该方法是基于一个批次内样本统计量完成特征调整，因此得名批归一化。英文缩写BN在深度学习文献和工程实现中被广泛采用。
1.3 核心目标
批归一化的主要目标是提高训练过程的稳定性和效率。它希望减少不同层输入分布随参数更新而频繁波动的现象，使优化过程更容易进行，同时保留网络对复杂函数的拟合能力。除了优化层面的收益，它还常带来一定的泛化增益。
2 工作原理
2.1 小批量统计量计算
批归一化以一个小批量中的样本为基础，统计该批数据在某一特征维度上的分布情况。随后利用这些统计量对当前批次进行标准化，使该维度的数据具有更统一的尺度。
2.1.1 均值
均值用于描述一批数据在某一特征上的中心位置。批归一化会先计算当前小批量的平均值，并将每个样本的对应特征减去该均值，从而使数据围绕零点分布。
2.1.2 方差
方差用于衡量数据的离散程度。批归一化通过计算小批量方差，了解该特征在批内波动的大小，再据此完成缩放，使不同批次之间的数值尺度更接近。
2.2 标准化过程
在得到均值与方差后，批归一化会对每个特征执行标准化，即先减均值，再除以标准差。这样处理后，特征通常会被转换到均值接近为零、方差接近为一的状态，有助于提升后续层的训练稳定性。
2.3 可学习参数
单纯标准化虽然能稳定数值范围，但可能限制表达能力。为此，批归一化引入了可学习的缩放和偏移参数，让网络能够在训练中恢复甚至重新塑造特征分布。
2.3.1 缩放参数
缩放参数通常记为γ，用于控制标准化后特征的幅度。它允许模型根据任务需要放大或缩小某些维度的响应，从而保留灵活性。
2.3.2 平移参数
平移参数通常记为β，用于调整标准化后特征的中心位置。借助该参数，模型可以把输出分布重新移动到更适合后续计算的区域。
2.4 推理阶段处理
在训练阶段，批归一化依赖当前小批量统计量；而在推理阶段，通常使用训练过程中累积得到的滑动平均均值和方差。这样做可以避免预测结果受单个测试批次组成的影响，提升部署时的一致性。
3 数学表达
3.1 归一化公式
设输入特征为x，批内均值为μ，批内方差为σ²，则标准化过程可写为：
x̂ = (x - μ) / √(σ² + ε)
y = γx̂ + β
这里γ和β分别表示缩放与平移参数。
3.2 反向传播机制
在反向传播中，批归一化不仅会把梯度传回输入特征，还会更新γ和β。由于标准化步骤涉及批内均值和方差，梯度传播会同时考虑样本之间的相互影响，因此其导数形式比普通线性层更复杂，但仍可高效实现。
3.3 数值稳定性项
ε用于避免方差过小时出现除零或数值震荡问题。它通常取一个很小的正数，确保在极端情况下标准差仍然可计算。虽然该项很小，但对训练稳定性很重要。
4 训练中的作用
4.1 加速收敛
批归一化往往能让优化器更快找到有效方向，因为输入分布更稳定，参数更新时不必不断适应剧烈变化的中间表示。实践中，这通常表现为训练轮数减少、损失下降更平滑。
4.2 缓解梯度问题
在较深网络中，梯度消失和梯度爆炸常与层间数值尺度不稳定有关。批归一化通过控制激活值的范围，间接降低了这类问题出现的概率，使深层模型更容易训练。
4.3 改善初始化敏感性
许多神经网络对参数初始化较为敏感。引入批归一化后，网络对初始权重的依赖通常有所降低，训练更不容易因为初始分布不理想而陷入缓慢学习或不稳定状态。
4.4 正则化效应
由于每个批次的统计量会带来一定随机性，批归一化在一定程度上具有类似正则化的作用。这种效果并不等同于显式正则项，但往往能减少过拟合倾向，尤其在中等规模数据集上较为明显。
5 在神经网络中的应用
5.1 全连接网络
在全连接网络中，批归一化通常作用于每一层的输出向量。它能够减小层间特征分布漂移，使多层感知机在训练时更平稳，也便于使用更大的学习率。
5.2 卷积神经网络
批归一化最早在卷积神经网络中得到广泛应用，尤其适合处理图像任务中的高维特征图。由于卷积层输出通常具有通道和空间维度，批归一化会针对特定维度进行统计和调整。
5.2.1 通道维归一化
卷积网络中常以通道为单位进行归一化，即对同一通道在批次和空间位置上的数值进行统计。这种方式能保持卷积特征的局部结构，同时统一不同通道的数值尺度。
5.2.2 特征图处理
对于特征图，批归一化会在每个通道内利用整批样本的空间位置数据计算均值和方差。这样既保留了空间相关信息，又能减少不同样本之间特征幅度差异过大的问题。
5.3 循环神经网络
在循环神经网络中，批归一化也可用于某些时间步或门控结构中，但实现时更为复杂。由于序列数据存在时序依赖，直接套用常规批归一化可能带来额外困难，因此实际使用往往需要结合具体结构进行设计。
5.4 残差网络与深层架构
在残差网络等深层模型中，批归一化几乎成为常见组件之一。它与残差连接配合后，能进一步改善深层训练的可行性，使模型在堆叠更多层时仍保持较好的优化表现。
6 变体与相关方法
6.1 层归一化
层归一化是在单个样本内部对特征进行归一化，不依赖批次统计量，因此更适合序列模型和小批量场景。与批归一化相比，它对批大小不敏感。
6.2 组归一化
组归一化将通道划分为若干组，并在组内进行归一化处理。它在视觉任务中常被用作批归一化的替代方案，尤其适合显存限制下的较小批量训练。
6.3 实例归一化
实例归一化通常对单个样本的每个通道独立进行标准化，常见于图像风格迁移等任务。它更强调样本自身的风格统计，而不是批内共享特征。
6.4 批标准化的改进版本
围绕批归一化，研究者提出过多种改进思路，例如调整统计方式、优化推理阶段估计、结合残差结构的位置设计等。这些方法通常旨在减少批依赖、提升稳定性或改善在特殊任务中的表现。
7 优点与局限
7.1 优点
批归一化的主要优点包括训练更稳定、收敛更快、对初始化更不敏感，以及在一定条件下具备轻度正则化效果。它还降低了深层网络的训练门槛，使更复杂的架构更容易落地。
7.2 局限性
尽管应用广泛，批归一化并非在所有场景中都占优。其效果会受到批大小、网络结构和任务类型的影响，在某些条件下可能不如其他归一化方法合适。
7.2.1 对批大小的依赖
批归一化依赖批内统计量，因此当批大小过小时，均值和方差的估计会变得不稳定，进而影响训练效果。对于显存受限或样本稀少的任务，这一问题尤其明显。
7.2.2 训练与推理差异
训练时使用当前批次统计量，推理时使用滑动平均统计量，这种机制使得训练和部署阶段存在一定差异。如果统计量估计不充分，预测性能可能受到影响。
7.2.3 小样本场景问题
在小样本数据集上，批归一化带来的随机性可能过强，甚至削弱模型对少量样本的稳定拟合。此外，当数据分布本身较复杂时，批统计量未必能准确反映真实分布。
8 实践要点
8.1 批大小选择
使用批归一化时，通常需要尽量保证批大小不过小。较大的批次有助于获得更可靠的统计量，但也要考虑显存和计算成本之间的平衡。
8.2 学习率配合
批归一化往往允许使用相对更大的学习率，但仍需结合优化器与任务进行调整。若学习率过高，即便有批归一化，训练也可能出现震荡。
8.3 位置放置策略
常见做法是将批归一化放在权重层之后、激活函数之前。不同网络结构对位置的要求可能略有差别，实际应用中常需通过实验确定更合适的顺序。
8.4 与激活函数的搭配
批归一化常与ReLU及其变体配合使用。归一化后接非线性激活，有助于保持特征数值稳定，同时增强模型的非线性表达能力。
9 工程实现
9.1 主流深度学习框架支持
批归一化几乎是各大深度学习框架的标准组件，通常可以直接调用现成模块实现。其接口一般支持训练模式、推理模式、动量参数以及不同维度的归一化配置。
9.2 参数初始化
在工程实践中，γ常初始化为1，β常初始化为0，这样可使批归一化初始时接近恒等映射，便于模型平稳开始训练。统计滑动平均值与方差也需要在训练初期逐步积累。
9.3 训练模式与评估模式切换
使用批归一化时，训练与评估模式的切换非常关键。训练模式下会更新批统计量和滑动平均值，评估模式下则固定这些统计结果，以保证推理输出一致、可复现。
10 历史与影响
10.1 提出背景
批归一化提出于深度学习快速发展的阶段，当时深层神经网络面临训练难、收敛慢、对初始化敏感等问题。该方法的出现，为大规模深层模型训练提供了新的思路。
10.2 对深度学习发展的影响
批归一化显著改善了神经网络训练体验，使更深、更复杂的模型更容易优化。它推动了多类架构的发展，也让“归一化层”逐渐成为网络设计中的基础模块。
10.3 在现代模型中的地位
在现代深度学习中，批归一化仍是重要方法之一，尤其在视觉任务中具有广泛应用。不过，随着任务类型和硬件条件变化，其他归一化方式也逐渐获得关注，模型设计往往会根据场景灵活选择。