1 概要
1.1 定義
スイッチ正規化（Switch Normalization）は、深層ニューラルネットワークにおいて、バッチ正規化、レイヤー正規化、インスタンス正規化など複数の異なる正規化手法を動的に切り替える、あるいはそれらの出力を学習可能な重みで結合することにより、モデルの汎化性能と学習安定性を向上させる手法である。各正規化手法の寄与を調整するスイッチング機構を備え、入力データやネットワークの状態に応じて最適な正規化戦略を選択することを可能にする。
1.2 提案の経緯
深層ニューラルネットワークの学習において、正規化は勾配の流れを安定化し、収束を促進する重要な役割を果たす。従来のバッチ正規化やレイヤー正規化などはそれぞれ特定の条件下で有効だが、データ分布やネットワーク構造の変化に対して頑健でない場合があった。2018年にLuoらは、これらの手法を統合し、学習可能なパラメータを通じて適応的に選択・融合するスイッチ正規化を提案した。この手法は特に画像生成やスタイル変換などのタスクで高い有効性を示し、従来の単一正規化手法の限界を克服する試みとして注目された。
2 背景
2.1 正規化の必要性
深層ニューラルネットワークの訓練では、中間層の活性値の分布が学習中に変化する「内部共変量シフト」が生じやすい。これにより勾配消失・爆発や収束の遅さが発生する。正規化は各層の入力を平均0、分散1（あるいは学習可能なスケール・シフト）に調整することで、この問題を緩和し、学習の安定性と速度を向上させる。
2.2 既存手法の限界
2.2.1 バッチ正規化
バッチ正規化はミニバッチ全体の統計量を用いて正規化を行う。小バッチサイズやバッチ間の統計的変動が大きい場合に不安定になりやすく、系列データや生成モデルなどバッチ方向に依存するタスクでは性能が低下する。
2.2.2 レイヤー正規化
レイヤー正規化はチャネル方向の統計量を用いるため、バッチサイズに依存しない。しかし、畳み込みネットワークなど空間次元とチャネル次元の関係が複雑な場合、十分な表現力を発揮できないことがある。
2.2.3 インスタンス正規化
インスタンス正規化は各サンプル・各チャネル独立に正規化を行い、スタイル変換などで有効だが、コンテンツ情報を過度に喪失する傾向があり、識別タスクには不向きである。
3 アルゴリズム
3.1 複数正規化モジュールの統合
スイッチ正規化は、バッチ正規化、レイヤー正規化、インスタンス正規化など異なる正規化手法の計算モジュールを並列に保持する。各モジュールは独立して入力テンソルを正規化し、それぞれの正規化出力を生成する。
3.2 スイッチング機構
3.2.1 重み付き結合
各正規化手法の出力は、学習可能なスカラー重み（またはチャネルごとの重み）によって重み付き線形結合される。重みはソフトマックス関数などで正規化され、各手法の寄与度を動的に調整する。
3.2.2 学習可能パラメータ
重みは誤差逆伝播法によってネットワーク全体とともに学習される。これにより、タスクやデータの特性に応じて各正規化手法の重要度が自動的に決定される。また、各正規化手法内のスケール・シフトパラメータも学習される。
3.3 訓練手順と勾配計算
訓練時には、まず各正規化モジュールが入力に対して独立に正規化を実行する。次に、学習された重みを用いてそれらの出力を結合する。誤差逆伝播時には、各モジュールの勾配と重みの勾配が同時に計算され、結合された出力から各モジュールへ勾配が分配される。これにより、全モジュールが協調して学習される。
4 特性
4.1 利点
4.1.1 汎化性能の向上
複数の正規化手法を適応的に組み合わせることで、単一手法では対応できない多様なデータ分布やネットワーク構造に対して頑健な正規化が可能となり、テスト時の汎化性能が向上する。
4.1.2 タスク適応性
重みの学習により、タスクに応じて最適な正規化戦略を自動選択できる。例えば、画像生成ではインスタンス正規化が、識別タスクではバッチ正規化が強く寄与するように調整される。
4.2 欠点
4.2.1 計算コストの増加
複数の正規化モジュールを同時に計算するため、単一手法に比べて計算量とメモリ使用量が増加する。特に大規模ネットワークでは訓練・推論の効率が低下する。
4.2.2 ハイパーパラメータ依存性
各正規化手法の重みを学習可能にしたことで、学習率や初期重みなどのハイパーパラメータに敏感になる場合がある。また、モジュール数や組み合わせ方の設計自体が新たな調整項目となる。
5 応用例
5.1 画像生成
画像生成（GANやVAEなど）では、生成される画像の品質や多様性の向上に寄与する。特に、異なるレイヤーで異なる正規化戦略が必要とされる深層生成モデルにおいて有効である。
5.2 スタイル変換
スタイル変換タスクでは、コンテンツ保存とスタイル適応のバランスが重要であり、スイッチ正規化は両者を調整するのに適している。インスタンス正規化とバッチ正規化の重みを学習することで、品質の高い変換が可能となる。
5.3 その他の分野
画像分類、物体検出、自然言語処理などでも応用が試みられており、特にデータ分布が多様な環境下で効果が報告されている。ただし、計算コストの観点から軽量な代替手法が好まれる場合もある。
6 関連手法との比較
6.1 アダプティブ正規化
アダプティブ正規化は、各層の統計量を適応的に調整する手法の総称であり、スイッチ正規化もその一種とみなせる。ただし、アダプティブ正規化は学習されたスケール・シフトパラメータに限定されることが多く、複数正規化手法の明示的な統合は行わない。
6.2 条件付き正規化
条件付き正規化は、外部情報（クラスラベルなど）に基づいて正規化のパラメータを変化させる。スイッチ正規化は入力自体から内部的な条件に応じて手法を切り替える点で異なり、外部条件を必要としない。
6.3 グループ正規化
グループ正規化はチャネルをグループ化して正規化し、バッチサイズに依存しない手法である。スイッチ正規化はグループ正規化を構成要素として含めることも可能だが、グループ正規化単体では他手法との動的切り替え機能を持たない。
7 参考文献
該当する参考文献については、Luoらによる2018年の論文「Switchable Normalization for Learning-to-Normalize Deep Neural Networks」などが代表的である。その他、バッチ正規化、レイヤー正規化、インスタンス正規化の原論文も参照される。