1.1 バッチ正規化の課題
バッチ正規化は、ミニバッチ単位で入力の平均と分散を計算し、正規化を行う手法である。訓練時には各ミニバッチの統計量を用いるが、推論時には訓練全体から得た累積統計量を使用する。この乖離が、特にミニバッチサイズが小さい場合に問題となる。小バッチでは統計量の推定誤差が大きく、訓練と推論の挙動が一致せず、モデルの収束が不安定になったり、最終的な性能が低下したりする。また、バッチ正規化はバッチサイズに依存するため、バッチサイズを変更すると学習率の調整が難しくなる。
1.2 小バッチ問題への対応
小バッチ環境での不安定性を解決するため、バッチ再正規化が提案された。この手法は、ミニバッチ統計量と累積統計量の間のシフトを補正するパラメータを導入し、訓練時にも推論時と整合性の取れた正規化を実現する。小バッチでも推定誤差の影響を抑え、安定した勾配勾配を維持できる。特に、GPUメモリ制限や大規模モデルでバッチサイズを小さくせざるを得ない状況で有効である。
2.1 基本定義
バッチ再正規化は、バッチ正規化の枠組みを拡張したものである。入力xに対し、ミニバッチの平均μ_Bと分散σ_B^2を用いて正規化を行い、その後スケールγとシフトβで線形変換する。しかし、バッチ再正規化では、正規化の際にミニバッチ統計量と累積統計量（全体平均μと分散σ^2）の差を調整するための補正項を加える。具体的には、正規化後の値x̂を以下のように定義する：x̂ = (x - μ_B) / σ_B * r + d、ここでrとdは補正パラメータである。
2.2 補正パラメータ（α、β）
補正パラメータはαとβで表される。αはミニバッチ標準偏差と累積標準偏差の比（σ_B / σ）であり、βはミニバッチ平均と累積平均の差（(μ_B - μ) / σ_B）である。これらのパラメータは訓練中に動的に計算され、各ミニバッチの統計量を累積統計量に近づけるように調整する。αとβは勾配の流れに影響を与えず、正規化の一貫性を高める役割を果たす。
2.3 訓練時の更新手順
2.3.1 ミニバッチ統計量の計算
まず、現在のミニバッチから平均μ_Bと分散σ_B^2を計算する。これはバッチ正規化と同様の手順であり、各層の入力に対して行われる。計算はミニバッチ内の全サンプルを用いて行い、高速な行列演算で実施される。
2.3.2 累積統計量との調整
次に、累積統計量（全体平均μと分散σ^2）を用いて、補正パラメータαとβを計算する。α = σ_B / σ（ただし分母がゼロにならないよう微小値を加算）、β = (μ_B - μ) / σ_Bとする。これらの値で正規化後の出力を調整し、最終的な正規化値x̂を求める。累積統計量は指数移動平均などで更新される。
2.3.3 勾配伝播の特性
補正パラメータαとβは訓練中に定数として扱われ、勾配がこれらのパラメータを通して逆伝播しない。つまり、勾配はミニバッチ統計量とスケール・シフトパラメータγ、βのみに流れる。これにより、補正が学習に干渉せず、安定した勾配伝播が維持される。また、補正パラメータ自体はミニバッチごとに再計算されるため、動的な調整が行われる。
2.4 推論時の動作
推論時には、バッチ再正規化はバッチ正規化とほぼ同じ動作をする。累積統計量（全体平均μと分散σ^2）を固定値として用い、補正パラメータは使用しない（α=1、β=0とする）。これにより、訓練時の正規化と推論時の一貫性が保たれ、モデルは入力に対して決定的な出力を返す。バッチ再正規化は、推論時に追加の計算を必要としない。
3.1 利点
3.1.1 小バッチでの安定性
バッチ再正規化の最大の利点は、小バッチサイズ（例：バッチサイズ16以下）でも学習が安定することである。ミニバッチ統計量の推定誤差が補正パラメータによって緩和され、勾配の変動が抑えられる。これにより、メモリ制約の厳しい環境や大規模モデルの訓練が容易になる。
3.1.2 モデルの汎化性能向上
補正により訓練と推論の統計量の乖離が減少するため、モデルの汎化性能が向上する。特に、バッチ正規化で見られた過学習の抑制効果が維持されつつ、小バッチでの性能低下が回避される。実験では、画像認識や自然言語処理のタスクで精度が改善した例が報告されている。
3.2 欠点
3.2.1 計算オーバーヘッド
バッチ再正規化は、ミニバッチ統計量に加えて累積統計量との調整計算が必要なため、バッチ正規化より若干の計算コストが増加する。具体的には、αとβの算出に必要な除算や乗算が加わり、訓練時の処理時間が数パーセント増える。ただし、大規模モデルではこのオーバーヘッドは無視できる程度である。
3.2.2 ハイパーパラメータ調整の複雑さ
バッチ再正規化では、累積統計量の更新に用いる移動平均の減衰率（モメンタム）や、補正パラメータの上限・下限を設定するなどのハイパーパラメータを調整する必要がある。適切な値を見つけるには試行錯誤が必要であり、バッチ正規化より設定が複雑になる場合がある。
4.1 フレームワークでの実装例（TensorFlow、PyTorch）
TensorFlowでは、tf.keras.layers.BatchNormalizationにrenormオプションが用意されており、renorm=Trueと設定することでバッチ再正規化を利用できる。また、renorm_clippingやrenorm_momentumなどのパラメータで詳細を調整可能である。PyTorchでは、公式のnn.BatchNorm1dやnn.BatchNorm2dには直接オプションがないが、カスタム実装が容易である。コミュニティ提供の実装や、torchbnnなどのライブラリも存在する。
4.2 応用分野
4.2.1 画像認識
画像認識では、畳み込みニューラルネットワーク（CNN）の訓練に広く使われる。小バッチでの学習が必要な場合、例えば高解像度画像や3Dデータでメモリが制限されるタスクで効果を発揮する。ResNetやEfficientNetなどのアーキテクチャに組み込まれ、精度向上が確認されている。
4.2.2 自然言語処理
自然言語処理（NLP）では、系列データの長さが異なるためバッチ内のパディングが生じ、ミニバッチ統計量が歪みやすい。バッチ再正規化は、TransformerやRNNベースのモデルでこの歪みを補正し、学習の安定化に寄与する。特に、大規模言語モデルの訓練でバッチサイズを小さくせざるを得ない場合に有用である。
4.2.3 生成モデル
生成対向ネットワーク（GAN）や変分オートエンコーダ（VAE）などの生成モデルでは、訓練が不安定になりやすい。バッチ再正規化は、生成器と識別器の両方に適用することで、小バッチでも勾配の変動を抑え、収束を促進する。画像生成や音声生成のタスクで品質向上が報告されている。
5.1 バッチ正規化
バッチ正規化はバッチ再正規化の基礎であり、ミニバッチ統計量のみを使用する点が異なる。バッチ正規化は大バッチで優れた性能を発揮するが、小バッチでは不安定になる。バッチ再正規化はこの欠点を補うが、計算オーバーヘッドが増える。どちらもスケール・シフトパラメータを持つ点は共通である。
5.2 層正規化
層正規化は、ミニバッチではなく各サンプルの特徴量全体に対して正規化を行う。バッチサイズに依存しないため、小バッチやバッチサイズ1でも安定する。一方、バッチ再正規化はバッチ内の統計量を活用するため、層正規化よりバッチ間の情報を利用できる。NLPのTransformerでは層正規化が主流だが、バッチ再正規化を適用する試みもある。
5.3 インスタンス正規化
インスタンス正規化は、各サンプルのチャネルごとに独立して正規化を行う。画像スタイル変換でよく使われ、バッチサイズに影響されない。バッチ再正規化はバッチ内の共分散を考慮するため、画像認識のようなタスクで有利な場合がある。インスタンス正規化はコントラスト情報を保存するが、バッチ情報を失う。
5.4 グループ正規化
グループ正規化は、チャネルをグループに分割して正規化する手法で、バッチサイズに依存しない。小バッチでバッチ正規化の代替として使われる。バッチ再正規化はバッチ情報を保持しつつ小バッチ問題に対処するため、グループ正規化よりバッチの統計的利点を活かせる。ただし、グループ正規化の方が実装が単純で計算コストが低い。
6.1 提案論文とその背景（Ioffe, 2017）
バッチ再正規化は、2017年にSergey Ioffeによって「Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models」という論文で提案された。Ioffeはバッチ正規化の提案者でもあり、バッチ正規化の小バッチ問題を解決するために本手法を開発した。論文では、画像分類タスク（ImageNet）でバッチサイズを小さくした場合に、バッチ再正規化がバッチ正規化より一貫して高い精度を示すことが報告された。
6.2 その後の改良と影響
その後、バッチ再正規化は多くの深層学習フレームワークに組み込まれ、実用的な手法として普及した。近年では、バッチ正規化の代わりに使われることが増え、特に大規模モデルや転移学習での活用が進んでいる。また、バッチ再正規化のアイデアは、他の正規化手法（例えば層再正規化や適応型正規化）の開発にも影響を与えた。ただし、グループ正規化や層正規化などのバッチ非依存手法が台頭したことで、競合する技術との使い分けが重要となっている。