L2正則化

1 L2正則化の基本

1.1 定義と数式表現

L2正則化とは、推定または学習の目的関数に対して、モデルの係数ベクトルの大きさを抑えるための罰則項を追加する手法である。典型的には、係数ベクトル \(w\) の二乗和に比例する量、すなわち \(\|w\|_2^2\) を罰則として用いる。ここで \(\|w\|_2\) は係数ベクトルのユークリッドノルムであり、\(\|w\|_2^2\) は各成分の二乗の総和に対応する。

線形回帰の最小二乗損失 \(\sum_i (y_i-\hat y_i)^2\) に対して、目的関数を \(\sum_i (y_i-\hat y_i)^2 + \lambda \|w\|_2^2\) のように拡張する形が基本形である。非線形モデルでも、重みのベクトルに同様の罰則を課すことで同名の手法として扱われる。

1.2 目的関数への組み込み

目的関数（損失）に正則化項を加えることで、学習が「当てはまりの良さ」だけでなく「係数の抑制」も同時に満たす方向へ誘導される。たとえば回帰問題では、データ誤差を表す損失 \(L_{\text{data}}(w)\) に対し、正則化後の目的関数 \(J(w)=L_{\text{data}}(w)+\lambda\|w\|_2^2\) を最小化する。

この構成により、学習アルゴリズムは「係数が大きくなることで誤差が下がる」局面であっても、その増加に対して追加コストが課される。結果として、係数の極端な振れが抑えられ、推定値の変動幅が縮小しやすい。

1.3 正則化係数の役割

正則化係数 \(\lambda \ge 0\) は、データ誤差と罰則の相対的な重みを決めるパラメータである。\(\lambda\) が小さいときは、罰則の影響が弱まり、ほぼ正則化なしの学習に近い振る舞いを示す。一方 \(\lambda\) を大きくすると、係数の大きさを強く抑える方向へ最適解が移る。

直感的には、\(\lambda\) が大きいほどモデルが「単純な形」に寄りやすくなる。ただし過度に大きい場合、データへの適合が犠牲になり、バイアスが増えて誤差が悪化することがあるため、適切な値の選択が重要となる。

1.4 L2ノルム（係数二乗和）としての解釈

L2正則化は、係数の二乗和を罰則としている点に特徴がある。幾何学的には、係数空間において一定の \(\|w\|_2\) を満たす集合は球面（または高次元の球）に相当し、目的関数の等高線がこの球面に接するような点が最適解として現れることが多い。

このため、探索空間に対する「なだらかな縮小」が起きやすく、極端に一部の係数だけをゼロに落とす挙動とは異なりやすい。二乗に基づくペナルティは大きい係数を特に強く抑える性質を持つため、係数のバランスが整い、学習の数値的な安定性にも結びつく。

2 期待される効果

2.1 過学習の抑制

過学習は、訓練データに対しては良い適合を示すが、未知のデータに対して性能が伸びない現象である。L2正則化は、係数を大きくして訓練誤差を下げようとする誘導を弱めることで、汎化にとって不利になりやすい複雑な関数形への張りつきを緩和する。

特に、データが限られる状況や、特徴量の相関が強い状況では、係数が不自然に大きくなることがあり得る。L2正則化はそのような方向への移動にペナルティを与えるため、結果として過度な当てはまりを抑える効果が期待される。

2.2 解の安定性と一意性

線形回帰において、設計行列の条件によっては推定が不安定になったり、多数の解が同程度の誤差を持つような状況が起こり得る。L2正則化は正則化項により目的関数の形を滑らかにし、最適化問題における「谷の底」が鋭くなったり、解が定まりやすくなったりすることがある。

数学的には、正則化により目的関数がより強い凸性を帯びる場合が多く、これが推定の一意性や数値計算の安定性につながる。実装面でも、行列の反転や連立方程式の解法における安定性が改善されることがある。

2.3 汎化性能への影響

汎化性能とは、学習後に未知データへ適用したときの良さを指す。L2正則化は「訓練誤差を完全には最小化しない」方向へ学習を誘導するため、訓練損失は必ずしも最小にならない。しかしその代わりに、テスト損失や予測精度が改善することがある。

これは、バイアス・分散の観点で、分散（推定値の揺らぎ）を抑えることで全体の誤差を下げる効果として説明されることが多い。どの程度改善するかはデータ量、ノイズ、特徴量設計、モデルの表現力に依存する。

2.4 モデル複雑度の制御

L2正則化は、モデルを実質的に縮約させる働きとして理解できる。係数が大きいほどモデルの応答が急になりやすいケースでは、二乗ペナルティがモデルの曲率や振る舞いの急峻さを抑える方向へ働く。

その結果、複雑さが抑えられるため、過適合しやすい領域で学習が暴走しにくくなる。正則化係数 \(\lambda\) を調整することで、この複雑度制御の強さを連続的に変えられる点が実務上の利点になる。

3 代表的な応用

3.1 リッジ回帰（線形回帰）

リッジ回帰は、線形回帰にL2正則化を組み込んだ代表的手法である。最小二乗誤差に対して \(\lambda\|w\|_2^2\) を加え、係数を推定する。多重共線性が強い場合や、特徴量数に対してデータが相対的に少ない場合に、推定の安定性を改善することが知られている。

解が不安定になりやすい状況では、正則化により過度な係数の発散が抑えられ、予測のばらつきが減ることがある。リッジ回帰はスパースな係数を作ることを主目的とするのではなく、滑らかに縮小して性能を底上げする性格を持つ。

3.2 線形判別・推定への拡張

線形回帰だけでなく、判別や確率モデルの推定でもL2正則化は利用される。たとえば線形分類器の損失（ロジスティック回帰の負の対数尤度など）に対して、重みの二乗和に比例する項を加えて最適化する枠組みが一般的である。

この拡張では、クラス境界や確率推定の安定性を高めることに加え、過学習の抑制が狙いになる。損失が凸である場合には最適化の性質が整いやすく、実装上の選択肢としても広く採用される。

3.3 重み減衰としてのニューラルネット

ニューラルネットの学習でも、重みの二乗和を罰則として加えることが「重み減衰（weight decay）」として知られている。勾配に基づく更新に、正則化に対応する項が反映される形で実装されることが多い。

ニューラルネットの訓練では、パラメータが膨大であるため、正則化を用いないと過学習しやすいことがある。L2正則化は比較的導入が簡単で、学習を安定化させ、学習データに過度に依存した表現を抑える効果が期待される。

3.4 多変量回帰・推定問題での利用

多変量回帰では、目的変数と説明変数の関係が複数の次元にわたり、係数の推定が高次元になることが多い。L2正則化は、そのような状況で係数推定の暴れを抑え、推定誤差の悪化を抑える方向に働きやすい。

また、特徴量の数が多い場合には、正則化により有効な解が定まりやすくなることがある。連立方程式の数値計算においても、正則化が条件数を改善し、計算の頑健性に寄与することがある。

4 最適化と実装上の要点

4.1 通常方程式（解析解）での位置づけ

線形回帰において、L2正則化を含む最小化問題は、通常方程式の正則化版として解析的に解ける場合がある。具体的には、設計行列 \(X\) に対し \((X^\top X+\lambda I)w=X^\top y\) の形の連立方程式が現れる。ここで \(I\) は単位行列である。

この表現は、\(\lambda\) が対角成分に加わることで、行列 \(X^\top X\) の逆行列計算が安定化されることを示唆する。実務では、逆行列を直接計算せずとも、分解法を用いて解くことで同様の効果が得られることが多い。

4.2 勾配法における更新式

勾配降下法やその改良版では、正則化項の寄与が勾配に加算される。目的関数が \(J(w)=L_{\text{data}}(w)+\lambda\|w\|_2^2\) のとき、正則化項は \(2\lambda w\) に対応する勾配を与えるため、更新則はデータ損失の勾配に加えて係数自身へ向かう成分を含む。

このため、学習は誤差を減らす方向へ進みつつ、同時に重みが過度に大きくならないように縮小する方向へも押し戻される。学習手法によって係数の扱い（バイアス項を正則化するか等）に差が出る場合があるため、実装仕様の確認が必要になる。

4.3 学習率・正則化係数のバランス

勾配法では学習率（ステップ幅）と正則化係数の相互作用が重要になる。正則化が強すぎる場合、更新の縮小成分が支配的になって学習が遅れたり、十分に損失を下げる前に停滞したりすることがある。逆に学習率が大きすぎると、データ損失側の勾配と正則化による押し戻しが競合し、発散や振動を招くことがある。

実務上は、まず学習率の設定を安定化させたうえで、\(\lambda\) を検証データにより調整する流れが多い。とくに適応的最適化（Adamなど）を用いる場合でも、正則化の強さが学習曲線に与える影響は無視できない。

4.4 特徴量スケーリングの重要性

L2正則化では係数の二乗和が罰則に直接現れるため、入力特徴量のスケールの影響を受けやすい。特徴量が大きな単位を持つ場合、その特徴に対応する係数の必要量が変わり、同じ \(\lambda\) でも罰則の効き方が異なる。

したがって標準化や正規化などの前処理が重要になる。スケーリングを揃えることで、正則化が各特徴に対して比較的公平な縮小を行いやすくなり、探索の挙動が安定する。特に線形モデルや重み減衰を適用するニューラルネットでは、この前処理が性能差として表れやすい。

5 パラメータ選択と評価

5.1 正則化係数の選び方（交差検証）

\(\lambda\) は性能に大きく影響するため、交差検証によって選ぶ方法が一般的である。訓練データを分割し、複数の候補値について検証誤差を比較し、最小（または最良の指標）となる値を採用する。

候補集合の作り方として、対数スケールで広く探索する手法がよく用いられる。小さい範囲に限定すると最適点を見逃す可能性があるため、実務では \(10^{-k}\) のような指数系列で幅を確保することが多い。

5.2 モデル評価指標との関係

回帰では平均二乗誤差、平均絶対誤差、決定係数などの指標が用いられる。分類では精度、F1、ROC-AUC、対数損失など、目的に応じた指標を選ぶ必要がある。L2正則化は損失関数に対する最適化であるため、評価指標と学習損失の対応関係も考慮される。

たとえば確率の校正が重要な場面では、尤度に基づく学習と評価指標の整合性が効きやすい。指標が変わると「最適な \(\lambda\)」も変わり得るため、検証時に同じ方針で判断することが望ましい。

5.3 訓練損失と検証損失の読み方

訓練損失は学習の結果であり、正則化を強くすると訓練誤差が増えやすい。一方で検証損失は、汎化の改善を反映するため、ある範囲の \(\lambda\) では低下することがある。

典型的には、\(\lambda\) を極端に小さくすると訓練損失は下がっても検証損失が悪化しやすく、極端に大きいと訓練損失も検証損失も高止まりすることがある。両者の差（過学習の兆候）が最小化されるあたりが有力候補になることが多い。

5.4 早期打ち切りとの違い

早期打ち切りは、検証損失の改善が止まった時点で学習を停止する手法である。L2正則化は目的関数そのものに罰則を入れる点で性質が異なる。早期打ち切りは「時間軸に沿った過学習の進行」を抑える発想であり、L2正則化は「パラメータ空間での過度な複雑さ」を抑える発想である。

両者は併用される場合もあるが、効果の現れ方は異なる。たとえば正則化が強いと学習がそもそも浅くなりやすく、早期打ち切りは補助的な停止条件として働くことがある。一方、正則化が弱い場合は早期打ち切りが主たる抑制策になることもある。

6 他の正則化との比較

6.1 L1正則化（ラッソ）との対比

L1正則化は係数の絶対値の総和 \(\|w\|_1\) を罰則として用いる。L1とL2の大きな違いは、最適解が係数ゼロを取りやすいかどうかに表れることが多い。L1は「スパースな解」を促しやすく、変数選択に似た効果が現れやすい場合がある。

対してL2は係数を連続的に縮小させる性格が強く、係数が完全にゼロになることは相対的に起きにくい。したがって、目的が「不要な特徴量を落とす」か「安定な予測を得る」かで適した正則化が変わることがある。

6.2 エラスティックネットとの位置づけ

エラスティックネットはL1とL2を同時に用いる正則化である。L1のスパース性とL2の安定性・縮小の滑らかさを両立することを狙う設計である。

特徴量が相関している場合、L1単独では選ばれる変数が不安定になることがあり得る。その際、L2成分を加えることで選択の揺れを抑え、学習結果を安定化させる方向に働くことがある。用途やデータ特性に応じて比率を調整することで柔軟性が得られる。

6.3 正則化の幾何学的な違い（探索空間）

探索の幾何学的な見方では、正則化項のレベル集合が形状として現れる。L2のレベル集合は球状であり、等高線が球に接する点が解になることが多い。一方L1のレベル集合は軸に沿った稜線を持つ形状になりやすく、そこで接点が軸（係数ゼロ）に近づきやすい。

このため、最適化がどのように解へ収束するか、係数の取りうる領域がどう制限されるかが変わる。結果として、L1と比べたL2の連続的な縮小の起こり方が説明できる。

6.4 スパース性と係数の挙動の違い

スパース性とは、多くの係数がゼロ付近になる性質を指す。L1はゼロを作りやすい傾向があり、どの変数が寄与しているかを比較的明確にしやすい。一方L2は全ての係数を小さくする方向へ働くことが多く、寄与の大小が連続的に表れる。

係数の挙動としては、L2では大きな係数が罰せられるため極端な値が抑えられるが、ゼロへ切り捨てるよりも「縮小して残る」形になりやすい。どちらの性質が望ましいかは、予測性能の要求と解釈の要求（選択した特徴の明瞭さなど）で変わる。