1 リッジ回帰の概要
1.1 基本概念
リッジ回帰は、線形回帰の係数推定に正則化（罰則）を組み込み、推定の安定性や予測性能の向上を図る手法である。具体的には、モデルが学習データに適合する程度（最小二乗誤差など）に加えて、係数の大きさを抑えるための項を目的関数に追加する。これにより、学習データに対する過度な適合が抑えられ、汎化性能が改善しやすくなる。
特に、多重共線性（説明変数間の強い相関）や、説明変数の数が多い状況で、通常の最小二乗推定が不安定になりやすい点に対して有効である。リッジ回帰では、係数が極端な値を取りにくくなるため、分散の増大を抑制する方向に働く。
1.2 従来の線形回帰との違い
通常の線形回帰（最小二乗法）は、学習データに対する誤差の平方和を最小化することに集中する。一方リッジ回帰は、同じく誤差の小ささを重視しつつ、係数の大きさに制約を与えることで推定を安定化する。
結果として、最小二乗法ではデータのばらつきに強く反応して係数が振れやすい場合でも、リッジ回帰は係数を縮小する方向へ誘導する。そのため、予測対象に対する誤差の見積りが改善し、特定の条件下では精度の低下を防げる。
また、最小二乗法が「誤差の最小化のみ」を目的にするのに対し、リッジ回帰は「誤差の最小化＋係数の抑制」という二つの要素を同時に満たすことを狙う点で異なる。
1.3 正則化の役割と効果
正則化の主な役割は、推定量の分散を抑え、過学習のリスクを下げることである。係数の大きさにペナルティを課すことで、モデルは学習データへの追随を過度に行いにくくなる。ここで重要なのは、正則化は必ずしも学習誤差を最小にすることを目的としない点である。むしろ、検証や将来データに対する性能を高めるための調整と捉えられる。
正則化強度は、係数縮小の程度を決めるハイパーパラメータとして作用する。強すぎる場合は係数が過度に抑えられ、表現力が制限されることでバイアスが増える。弱すぎる場合は縮小効果が不足し、分散の増大が残る。したがって適切な強度の選択が性能に直結する。
加えて、多重共線性が強いときは、係数の組み合わせが複数の解に分かれやすいが、リッジ回帰はその解の分散を抑える方向に働く。結果として、係数推定の数値的な安定性や再現性が向上しやすい。
2 数学的定式化
2.1 目的関数（損失関数）
リッジ回帰の基本形では、回帰係数を含む線形モデルに対して、最小二乗誤差に係数の二乗和に比例する罰則を加えた目的関数を最小化する。具体的には、説明変数を行列 \(X\)、目的変数をベクトル \(y\)、係数を \( \beta \) として、損失は誤差項に加えて正則化項を持つ。
モデルの学習は、目的関数を最小にする係数を求める問題として定式化される。正則化項は、係数が大きくなるほど罰則が増える形になっており、極端な係数を避ける性質を持つ。
2.1.1 最小二乗誤差への罰則項
| 最小二乗誤差への罰則項とは、目的関数に「係数の二乗和」を追加することである。一般に、係数ベクトルに対して二乗ノルム \( \|\beta\|_2^2 \) を用い、誤差平方和にこの項へ比例する重みを加える。 |
|---|
よく用いられる形は次のように表される。 \[
| \min_{\beta}\ \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2 |
|---|
\] ここで \( \lambda \ge 0 \) は正則化係数であり、係数縮小の強さを調整する。\( \lambda = 0 \) のときは最小二乗法に一致し、\( \lambda \) を大きくすると縮小が強まる。
罰則が係数の全成分に対して均等に働く点が、学習上の挙動を特徴づける。つまり、特定の係数だけを強く抑えるというより、全体として大きさを抑える方向へ推定を導く。
2.1.1.1 正則化係数と係数縮小の関係
正則化係数 \( \lambda \) は、係数の縮小量を決める調整つまみとして働く。小さい \( \lambda \) では誤差項の重みが支配的になり、推定値は最小二乗解に近づく。大きい \( \lambda \) では正則化項が支配的になり、係数は原点付近へ寄っていく。
直感的には、\( \lambda \) を増やすほど「係数を大きくすること」に対するコストが上がるため、解はより抑制された形になる。極端な場合、\( \lambda \) が十分大きいと係数はほぼゼロ近傍に押しやられる。
この関係は、バイアスと分散のトレードオフにも直結する。縮小を強めるほど分散は減りやすいが、表現の柔軟性は損なわれやすく、学習データからのずれ（バイアス）が増え得る。
2.2 推定の導出（閉形式解）
目的関数が二次形式であるため、リッジ回帰の解は閉形式で与えられる。上記の目的関数を \( \beta \) で偏微分し、ゼロに設定して解くことで、通常は次の形の解が得られる。 \[ \hat{\beta} = (X^\top X + \lambda I)^{-1}X^\top y \] ここで \(I\) は単位行列である。\( \lambda > 0 \) のとき、行列 \(X^\top X\) に対して正則化が加わるため、逆行列が存在しやすくなり数値計算の安定性が高まる。
閉形式解の存在は、計算上の利点だけでなく、理論解析もしやすいことを意味する。たとえば \( \lambda \) が変化することで係数がどの程度縮むか、行列表現から直接理解しやすい。
なお、切片（バイアス項）を含める場合は、一般に説明変数の平均処理と整合的に扱うことで、切片に対して罰則を課さない設計にすることが多い。
2.3 行列表現と計算効率
リッジ回帰は行列表現として整理でき、計算効率の面でも実装しやすい。閉形式解は、一般に \(X^\top X\) を作って逆行列を計算する形になるため、次元が大きい場合には計算負荷が課題になる。
実務では、変数数 \(p\) がサンプル数 \(n\) より大きいケースも多い。その場合、直接的に \(p\times p\) 行列の逆行列を求めるのではなく、数値線形代数の手法（分解や線形方程式の解法）を用いて計算を安定かつ効率的に行うことが多い。
また、特異値分解（SVD）や固有値分解の視点を導入すると、係数がどの成分方向でどれだけ縮むかを解釈しやすくなる。計算面では、これらの分解を一度行えば、正則化係数を変えながら推定を繰り返す際の効率化にもつながる。
3 実装と実務上の論点
3.1 ハイパーパラメータ調整（正則化強度）
正則化強度 \( \lambda \) の選択は性能の鍵を握る。一般に、検証データに対する誤差（平均二乗誤差など）や、分類なら適切な評価指標を用いて、最良の \( \lambda \) を決める。
よく使われる方針は、グリッド探索と交差検証の組み合わせである。候補となる \( \lambda \) を対数スケールで幅広く設定し、各候補で学習・検証を行う。最も評価が良い値を採用することで、バイアスと分散のバランスを実データに適合させる。
さらに、データ量が少ない場合は過剰に複雑な探索を避ける必要がある。結果として、候補点数や探索範囲の設計も実務上の論点になる。
3.2 データ前処理（標準化・平均処理）
リッジ回帰では、正則化項が係数の二乗和で定義されるため、説明変数のスケールに影響を受けやすい。たとえばある特徴量の分散が大きいと、その特徴に対応する係数の推定値もスケールの影響を受けやすくなる。したがって、学習前に標準化（平均0、分散1など）を行うことが一般的である。
切片の扱いも重要である。切片に対して罰則をかけない設計が望ましいことが多いため、実装では説明変数の平均を用いた整合的な前処理を行う。具体的には、切片を別扱いにして正則化対象から除くか、データの中心化を行って目的関数が意図通りになるよう整える。
前処理が不適切だと、正則化の効き方が特徴量ごとに偏り、解釈や性能が不安定になる。したがって標準化は、単なる前置きではなく主要な実務手続きとして位置づけられる。
3.3 モデル評価（検証・交差検証）
モデル評価では、学習データに対する誤差だけでなく、未観測データでの性能を確認することが前提となる。リッジ回帰は正則化によって過学習を抑えるが、正則化強度の誤選択によっては性能が落ちる。
交差検証は、データ分割を複数回繰り返し、評価指標のばらつきを抑えながら汎化性能を推定する方法である。特にハイパーパラメータ調整と同時に用いることで、実運用に近い推定ができる。
評価指標の選択も論点である。回帰では平均二乗誤差や平均絶対誤差などが使われ、目的の性質に応じて適切な損失を選ぶ。分類への拡張を行う場合は、線形モデルの出力をどう解釈して評価するかが設計に影響する。
3.4 係数の解釈と比較（縮小の意味）
リッジ回帰は係数を縮小するため、得られた係数を解釈する際には「縮小された結果」だという前提が必要になる。最小二乗法の係数と単純に比較すると、縮小の影響が混ざるため注意が要る。
解釈としては、係数の絶対値が小さくなることで、その変数が予測に寄与する度合いが抑制されたと見ることができる。ただし、縮小は完全な無視（ゼロ化）を保証しないため、変数が無関係でも残る可能性がある。よって、説明変数の重要度を断定する目的には別手段の併用が検討される。
別モデルとの比較では、同じ前処理と評価手順の下で比較することが前提になる。特に標準化の有無や切片の扱いが一致していないと、係数の大きさや学習挙動の差が正則化以外の要因により生じ得る。結果の比較を行う際は、条件の整合性を確認することが実務上の要点となる。
4 関連手法との関係
4.1 ラッソ回帰との比較
ラッソ回帰は、正則化項として係数の絶対値の和（\( \ell_1 \) ノルム）を用いる手法であり、リッジ回帰とは罰則の形が異なる。主な違いは、ラッソが係数をゼロにする方向へ働きやすい点である。そのため、変数選択の性質を持ち、解釈のしやすさにつながる場合がある。
一方でリッジ回帰は、係数を連続的に縮小する傾向が強く、スパース性（係数がちょうどゼロになる数の多さ）を必ずしも強く求める構造ではない。多重共線性がある場合、リッジは相関のある特徴量の係数を似た形で縮めることがあり、安定性の観点で有利になることがある。
実務上は、目的が予測性能の向上であるのか、変数選択の明確さが必要なのかによって選択が変わる。両者の評価は交差検証で統一した条件のもと行うことが一般的である。
4.2 エラスティックネットとの比較
エラスティックネットは、リッジ回帰の \( \ell_2 \) 正則化とラッソ回帰の \( \ell_1 \) 正則化を組み合わせた手法である。これにより、縮小の安定性と、部分的なスパース性の両方を狙える。
リッジ単独ではスパース性が得にくいことがあるが、エラスティックネットでは \( \ell_1 \) 成分によって係数がゼロ寄りに動く可能性が増える。またラッソ単独では、相関が強い変数群の扱いが不安定になることがあり得るが、\( \ell_2 \) 成分がその揺らぎを緩和する役割を果たすことがある。
比較の観点では、エラスティックネットはハイパーパラメータが増えるため探索コストが上がり得る。しかし、データ構造に応じて柔軟な正則化が可能になり、性能が改善する場合がある。
4.3 他の正則化手法との位置づけ
リッジ回帰は、二乗ノルムに基づく正則化として位置づけられる。一般に、正則化は目的変数に対する適合度と、係数の複雑さ（あるいは大きさ）とのバランスを制御する枠組みであり、形の違いは「どの種類の複雑さを抑えるか」に相当する。
たとえば、別の距離尺度に基づく正則化や、制約形（ペナルティではなく上限として課す形式）への変換など、さまざまなバリエーションが存在する。これらは特性の違いに応じて、スパース性、安定性、解釈性、計算負荷といった観点で選択される。
リッジ回帰は特に、数値安定性が必要な場面や、多重共線性がある状況での実用性が高いことで知られる。さらに目的関数が滑らかであるため最適化が扱いやすく、理論的にも解析が進んでいる。こうした理由から、関連手法の中でも基礎的で汎用的な位置を占める。