L2ノルム正規化 - Ciallo Wiki

1 L2ノルム正規化の基本

1.1 L2ノルム（ユークリッドノルム）の定義

1.1.1 ベクトルとノルムの対応

ノルムとは、ベクトルに数値を対応させる写像であり、直感的には「大きさ」を表す。L2ノルム（ユークリッドノルム）は、各成分の2乗を合計し、その平方根を取ることで得られる。したがって、成分が増えるほど大きさが増加する一方、符号は2乗のために影響しない。

1.1.2 L2ノルムの幾何学的意味

幾何学的には、L2ノルムはユークリッド空間における原点からの距離に相当する。ベクトルを原点に固定した点とみなすと、L2ノルムはその点までの直線距離となる。このため、L2ノルム正規化では「長さ」を揃える操作がそのまま幾何の制約として働く。

1.2 正規化の定義と計算式

1.2.1 ベクトルに対するL2ノルム正規化

L2ノルム正規化は、ベクトル \(x\) のL2ノルム \(\\|x\\|_2\) を用いて、同方向のまま長さを1に調整する操作である。典型的には次式で定義される。

\hat{x}=\frac{x}{\\|x\\|_2}

\] \(\hat{x}\) は単位ベクトルとして扱えるため、以後の内積や距離の解釈が扱いやすくなる。

1.2.2 行列・テンソルへの拡張

実データでは、ベクトルだけでなく行列や多次元テンソルが対象になる。拡張では「どの軸に沿ってノルムを計算し、どの単位で長さを揃えるか」を決める。たとえば行ごとに正規化する場合、各行ベクトルに対してL2ノルムを計算し、その行を除算する。列方向や、全要素をまとめた全体ノルムで正規化する設計もあり得る。

1.3 正規化後に得られる性質

1.3.1 正規化によるノルムの固定

L2ノルム正規化を施した結果は、非ゼロの場合に限り、そのL2ノルムが1に固定される。これにより、絶対的なスケールの違いが除去され、方向（符号を含む成分の相対関係）に焦点が移る。数値としては長さが比較基準から切り離されるため、類似度計算や学習の挙動が変化する。

1.3.2 各成分への影響の理解

正規化は全成分を同じ割合で縮める（または伸ばす）ことであり、個々の成分の比率は変えない。つまり、成分の相対関係は保持されたまま、全体の大きさだけが調整される。したがって、正規化の効果は「成分の方向性を保ったままスケールを揃えること」として理解できる。

2 応用上の目的と効果

2.1 内積・類似度との関係

2.1.1 正規化とコサイン類似度の関係

コサイン類似度は、2つのベクトルの成す角のコサインに基づく指標である。2つのベクトルをL2ノルムで正規化すると、内積がコサイン類似度に一致する。具体的には、\(\hat{x}=x/\\|x\\|_2\)、\(\hat{y}=y/\\|y\\|_2\) とすると \(\hat{x}^\top \hat{y}\) は方向の一致度を直接表す。

2.1.1.1 正規化後の内積の解釈

正規化後の内積は、長さの影響を受けずに「向きの近さ」を数値化したものになる。値が大きいほど方向が揃い、負の値は逆向きに近いことを示す。これにより、スケールの異なる特徴間でも比較が可能になり、検索やランキングでの解釈が単純化する。

2.2 距離比較と幾何の変化

2.2.1 ユークリッド距離と正規化空間

正規化すると点は単位球面上に配置されるため、ユークリッド距離の意味が変わる。単位球面上では、距離は主に角度（方向の差）に応じて変化し、長さ差は存在しなくなる。結果として、距離の変化は「向きの差」によって主に説明される。

2.2.2 距離尺度の再解釈

同じユークリッド距離でも、正規化前は「大きさと向きの両方」が混ざっていたが、正規化後は「向きの情報」がより支配的になる。このため、距離の閾値設計やモデルの性能解釈では、単位球面上での幾何学的挙動を意識する必要がある。

2.3 学習・推定の安定化

2.3.1 勾配やスケールの影響軽減

学習ではパラメータ更新が勾配に依存するが、特徴のスケールが極端だと勾配の大きさや学習率との相互作用が不安定になりやすい。L2ノルム正規化は各表現の長さを制限するため、入力のスケール差による極端な勾配を抑え、最適化の進み方を整える効果が期待できる。

2.3.2 発散・過学習への実務的含意

過大なスケールは数値的不安定を招き、更新が発散する要因になり得る。正規化はその一部を緩和し、学習の挙動を安定化することがある。ただし、過学習そのものを直接防ぐものではない。一般化性能はデータ構造やモデル容量、正則化方針に強く依存するため、正規化は補助的な役割として評価するのが妥当である。

2.4 前処理としての役割

2.4.1 特徴量のスケーリング

特徴量に対してL2ノルム正規化を行うと、元データの大きさの違いは薄まり、比較の軸が均質化される。特に埋め込み表現（特徴ベクトル）に対して適用すると、類似度の指標が安定しやすい。前処理の段階で表現の尺度を整えることで、後続処理の設計負担が軽くなる。

2.4.2 比較可能な特徴表現の構築

複数ソースや複数バッチで作られた特徴は、絶対スケールが一致しないことがある。L2ノルム正規化は長さを揃えるため、異なる条件下で生成された表現同士の比較をしやすくする。これにより、検索・分類・クラスタリングなどで同一尺度に基づく推定が可能になる。

3 実装の考え方と注意点

3.1 ゼロベクトル・極小ノルムの扱い

3.1.1 割り算の回避と安全策

L2ノルムが0に近い場合、除算によって数値が暴れたり、厳密に0では計算が破綻する。特に入力がゼロに張り付く状況（例：特定条件で特徴が消える）では、正規化の前に検査や方針決定が必要になる。ゼロに対しては出力をゼロのままにする、あるいは別の基準ベクトルを返すなど、アプリケーションに応じた扱いを決める。

3.1.2 ϵ（小さな定数）の導入

実務では \(\\|x\\|_2\) に対して小さな定数 \(\epsilon\) を加え、分母を0から遠ざける実装が多い。典型的には \(\hat{x}=x/(\\|x\\|_2+\epsilon)\) の形が用いられる。これにより、極小ノルムでの発散を防ぎつつ、通常の範囲では正規化の効果を維持しやすい。

3.2 数値計算上の安定性

3.2.1 浮動小数点誤差

浮動小数点では丸め誤差が蓄積し、非常に大きい値や非常に小さい値の範囲で誤差の相対的な影響が増える。L2ノルム計算は2乗と平方根を含むため、誤差の見え方が工夫を要する。加えて、正規化後の値は1付近に収束するが、誤差により厳密な1にならない場合がある。

3.2.2 オーバーフロー・アンダーフローの対策

成分が大きい場合、2乗の段階で上限を超えてオーバーフローが起き得る。また逆に、極端に小さい値ではアンダーフローによりノルムが0に丸められる可能性がある。これらを避けるために、データのスケーリング方針、適切な精度（例：計算は高精度、出力は低精度など）、ならびに \(\epsilon\) の調整が重要になる。

3.3 データ形状に応じた適用単位

3.3.1 行ごと・列ごと・全体での正規化

行列 \(A\) に対し、行ごとに正規化すると各行の向きが単位球面上に制約される。一方で列方向なら列の比較性が揃い、全体で正規化すると行や列の相対構造まで影響を受ける。どの軸を「特徴の単位」とみなすかは、学習設計や特徴抽出の意味付けに直結するため、用途に応じた選択が必要である。

3.3.2 バッチ処理での実装方針

機械学習ではミニバッチ単位で計算することが多い。バッチ内の各サンプルごとに正規化するのか、バッチ全体で集計してから正規化するのかを区別する必要がある。前者はサンプル独立の尺度調整になりやすく、後者は相対化が強くなる。計算の意図と評価結果を突き合わせて決めるのが一般的である。

3.4 自動微分・勾配伝播

3.4.1 正規化演算の微分の考え方

L2ノルム正規化は除算を含むため、微分可能な演算としてグラデーションが定義される。一般には、出力は入力の方向に依存し、ノルムも入力に依存するため、勾配は「成分ごとの寄与」と「ノルムによる結合」を含む形になる。実装では自動微分がこれを処理するが、分母が小さいと勾配が大きくなり得る点には注意が必要である。

3.4.2 実装時の計算グラフへの留意点

自動微分の観点では、分母の \(\epsilon\) やゼロ近傍の扱いが学習の安定性に影響する。さらに、正規化をどの層に組み込むか（埋め込みの直後、分類器の入力前など）によって勾配の流れが変化する。計算グラフ上での位置づけを明確にし、学習率や損失関数との整合を確認することが実務上の要点となる。

4 近縁概念と比較

4.1 他のノルム正規化との違い

4.1.1 L1ノルム正規化

L1ノルム正規化は \(\\|x\\|_1=\sum_i	x_i	\) を用いてスケールを揃える手法である。L2と比べて、L1は大きい成分の影響が相対的に異なり、スパース性を促す文脈で言及されることが多い。単位形状は幾何学的に異なるため、距離や内積の解釈も変わる。

4.1.2 L∞ノルム正規化

L∞ノルムは \(\\|x\\|_\infty=\max_i	x_i	\) で定義され、最大成分の大きさを基準に正規化する。これにより、全成分が「上限1」の範囲に収まる性質が得られる。L2のように平均的な二乗の集約とは異なるため、特徴の分布や外れ値への応答が異なる。

4.2 スタンダード化・正規化の違い

4.2.1 平均と分散に基づく標準化

標準化（例：平均を0にし分散を1にする）は統計量に基づく操作であり、各成分（または各特徴量）のスケールを整える。L2ノルム正規化はベクトルの長さという集約指標を用いるため、標準化は「成分ごとの挙動」を主に扱い、L2正規化は「方向と全体スケール」を扱う傾向がある。どちらが適切かは、目的が距離尺度の揃えか、統計的な平均化かで決まる。

4.2.2 L2ノルム正規化のスケールの意味

L2正規化が揃えるのはユークリッド距離に対応する長さであり、成分の二乗和を通じて総合的な大きさを定義する。したがって、学習で重要なのが「絶対量」なのか「方向」なのかで、正規化がもたらす性質が変わる。方向が本質である埋め込み比較では利点が大きくなりやすい。

4.3 正規化層・正規化手法の位置づけ

4.3.1 埋め込み（特徴）へのL2正規化

埋め込み空間では、ベクトル同士の類似度が中心課題になることが多い。そこでL2ノルム正規化を行うと、内積と角度の関係が整い、検索や照合の解釈が単純になる。加えて、モデル出力が過度に大きくなる場合でも、長さを抑えて学習を扱いやすくする狙いがある。

4.3.2 正則化（ペナルティ）との混同回避

正則化は通常、損失関数に罰則項を追加して学習の性質を制御する枠組みである。対してL2ノルム正規化は、モデル外部または内部の表現を段階的にスケール調整する変換であり、罰則項として最適化に組み込まれるとは限らない。目的と効果の方向が異なるため、「正規化（normalization）」と「正則化（regularization）」を区別して扱うことが重要である。