1 多重共線性の概要
1.1 定義と直感
多重共線性とは、回帰分析で用いる複数の説明変数が互いに強い線形関係（またはそれに近い関係）を持ち、結果として各説明変数の「独自の寄与」を統計的に分離しにくくなる状態をいう。直感的には、複数の変数がほぼ同じ現象を表しており、モデルに入れたときに情報の重なりが大きい状況である。
このとき、回帰では各説明変数の係数を同時に推定するため、変数間の情報重複が推定の安定性に影響する。なお、共線性が高いこと自体は、係数推定が必ずしも体系的にずれて（偏り）推定されることを意味しない。ただし、推定値のばらつきが増えやすく、推論に用いる検定や信頼区間が不安定になりやすい。
1.2 発生の典型パターン
多重共線性は、設計段階の変数定義や、現場でのデータ生成過程により生じることが多い。原因は大きく「ほぼ従属に近い線形関係がある場合」と「変数設計・データ生成により情報が重複する場合」に整理できる。
1.2.1 近い線形関係（ほぼ従属）の例
説明変数の一部が他の変数の線形結合で近似できるとき、多重共線性が強くなる。例えば、同じ属性を表す指標の複数が用いられており、片方が他方のスケール変換や差分に近い形で計算されているケースが該当する。
また、集計の仕方が似通っている場合も典型である。たとえば、売上の合計と内訳の合計がほぼ一致するような構造や、温度・湿度・露点など物理量の関係がモデル化の前提により強く結びつく状況では、変数の線形独立性が弱まりやすい。
1.2.2 変数設計・データ生成に起因する例
変数が同じ要因から同時に変動する場合、回帰モデル上で共線性が生まれる。たとえば、景気、人口動態、地域特性などの潜在要因が複数の観測指標に同方向へ影響すると、観測変数同士の相関が高くなる。
さらに、欠測処理や外れ値処理の結果として、変数のばらつき構造が変わり、相関関係が強まることもある。データ収集の条件が限られている場合（観測期間が短い、特定の地域・条件に偏るなど）も、変数の独立性が確保されにくい。
1.3 単共線性との違い
単共線性は、説明変数のうち一つが、目的変数に対して相関が強いという意味で使われる場合がある一方、本項目で扱う「単共線性」は、主として単一の説明変数同士の強い相関を指して用いられることが多い。対して多重共線性は、複数変数の組合せとして線形関係が強まる現象であり、個々のペアの相関だけでは見落とされることがある。
たとえば、AとBの相関は中程度でも、AとBとCの同時関係によって従属性が高まる場合がある。このように、多重共線性は「ペア単位の検討」では捉えにくい特徴を持つ。
2 検出と診断
2.1 相関に基づく確認
共線性の有無を確かめる出発点として、説明変数間の相関を確認する方法がある。ただし相関行列は「線形の2変量関係」を中心に見える化するため、複数変数の同時従属を完全には反映しない点に注意が必要である。
2.1.1 相関係数行列の見方
相関係数行列では、対角以外の要素が説明変数同士の線形相関を示す。絶対値が大きい組が目立つ場合、少なくともその組に関して共線性が疑われる。一般に、相関が高い組が複数存在するほど、モデル内の情報重複は増えやすい。
一方で、相関が低いからといって共線性が弱いと断定はできない。非線形の関係や、複数変数の共同的な線形関係は相関係数だけでは見えにくいからである。したがって、相関行列は「疑うための材料」であり、追加の診断指標と組み合わせて判断するのが実務的である。
2.1.2 視覚化による当たりの付け方
散布図行列（ペアプロット）やヒートマップは、相関構造を直感的に把握する助けになる。線形パターンがはっきり見える組がある場合、共線性の可能性が高い。さらに、クラスタ状の関係や、階段状の変化がある場合には、データ生成の仕方や前処理が影響している可能性も考えられる。
視覚化は高速に仮説を立てられるが、変数数が増えると図の読み取りが難しくなる。このため、後続の指標（VIFや固有値ベースの指標）で裏取りする運用が望ましい。
2.2 分散拡大要因（VIF）
VIF（Variance Inflation Factor）は、各説明変数が他の説明変数からどの程度説明されるかを基に、係数推定の分散がどれだけ膨らみやすいかを示す指標である。多重共線性の診断として広く使われる。
2.2.1 VIFの算出と解釈
ある説明変数 \(X_j\) を、残りの説明変数で回帰したときの決定係数を \(R_j^2\) とし、VIFを \( \mathrm{VIF}_j = \frac{1}{1-R_j^2} \) の形で定義する（分母がゼロに近づくほど、他変数でほぼ完全に説明できる）。VIFが大きいほど、\(X_j\) の係数推定の分散が増大しやすいことを意味する。
解釈上の要点は、VIFが「相関の強さ」を直接測るのではなく、「係数推定の不安定化に結びつく情報の重なり」を反映するという点である。したがって、VIFは検定の不確実性増大を説明するのに役立つ。
2.2.2 相対的な目安と限界
実務では、VIFが一定以上の場合に対処を検討する目安が使われることが多いが、閾値は分野や目的により異なる。重要なのは、相対比較としてモデル内でどの変数が特に影響を受けやすいかを見ることにある。
限界として、VIFは線形回帰の枠組みに密接であり、非線形関係や交互作用を考慮しない場合には過小評価または過大評価につながり得る。また、変数数が多い状況ではVIFの解釈が難しくなり、単一指標では十分でない。よって、VIFは相関行列や条件数などの診断と合わせて総合的に判断するのが望ましい。
2.3 モデル診断としての条件数・固有値
多重共線性は、設計行列（説明変数行列）の幾何学的な性質としても捉えられる。ここでは、条件数や固有値により、行列がどれだけ「数値的に扱いにくい」状態かを評価する。
2.3.1 条件数（condition number）
条件数は、設計行列の最大特異値と最小特異値の比として表され、値が大きいほど逆行列計算などが不安定になりやすいことを示す。共線性が強くなると、最小特異値が小さくなり、条件数が増大する傾向がある。
ただし条件数は、観測スケールや前処理（標準化の有無）に敏感である。したがって、同一データ・同一前処理条件での比較、あるいは標準化後の値での評価など、測定条件の統一が重要になる。
2.3.2 固有値分解と寄与の見方
固有値分解では、説明変数空間の方向ごとの分散（あるいは情報量）がどの程度偏っているかを見られる。共線性が強い場合、ある方向では情報がほとんど得られず、対応する固有値が極小になる。固有値が大きくばらつくほど、推定に必要な情報が一部の方向に偏っていることを示唆する。
寄与の観点では、「大きい固有値が支配する割合」と「小さい固有値が残す部分」を確認することで、モデルが実質的に低次元の情報しか持っていない可能性を把握できる。これにより、どの方向（変数の組合せ）で不安定化が起きやすいかの理解につながる。
2.4 診断の実務上の注意点
診断指標は便利だが、前提や実装の違いにより意味が変わり得る。実務では、標準化や計算手順、データのスケールを揃えたうえで解釈する必要がある。
2.4.1 標準化の有無
標準化を行うかどうかは、相関行列そのものには比較的影響が小さい一方で、条件数や数値安定性を伴う指標には強く影響することがある。条件数はスケール変化で変わり得るため、異なる前処理間で単純比較すると誤った判断につながる。
また、VIFは通常回帰設定に依存して計算されるため、標準化によって値が変わるケースもある。したがって「この診断は標準化ありで算出された値か」を明確にした上で運用するのが望ましい。
2.4.2 計算・数値安定性の影響
共線性が極端な場合、最小二乗推定の計算で数値誤差が増えることがある。設計行列がほぼ特異になると、逆行列計算を直接行う実装では誤差が増幅しやすい。実務ではQR分解や特異値分解（SVD）など、数値的に安定な手法を使うことが推奨される。
さらに、丸め誤差やデータの欠測補完の方法が診断値に影響する場合もある。診断を行うだけでなく、推定手法や実装上の選択も同時に確認することで、解釈の信頼性が高まる。
3 回帰推定への影響
3.1 係数推定の不安定化
多重共線性がもたらす代表的な影響は、係数推定値のばらつきの増大である。サンプルが微小に変わるだけで推定結果が大きく変わるようになると、解釈の確からしさが損なわれる。
3.1.1 推定値の大きな揺れ
説明変数間の情報が重複しているため、データが持つ手がかりの割り当てが曖昧になる。その結果として、学習データがわずかに変わったときに、係数の推定値が大きく動きやすい。係数ベクトルの推定が同じ方向へ一意に定まらず、複数の組合せで近い当てはまりを作れる状況が生まれるからである。
この「揺れ」は予測の性能とは別に、推論の安定性に直結する。研究や説明の目的で係数を解釈する場合、同じデータ処理でも推定結果が再現されにくくなる。
3.1.2 係数の符号や大きさの変動
共線性が強いと、係数の符号が直感と逆転したように見える場合がある。これは、係数の推定が「各変数の独立寄与」を厳密に分離しきれず、相関をもつ変数同士で係数の割り振りが入れ替わるような現象が起こり得るためである。
また、大きさに関しても過度に大きな値が出たり、小さな値に抑えられたりと変動しやすくなる。実務では、個別係数の解釈に過度な期待を置かず、組としての効果や予測寄与を併せて検討する姿勢が重要となる。
3.2 標準誤差と検定への影響
多重共線性は標準誤差を押し上げやすい。標準誤差が大きくなると、t検定や信頼区間の幅が広がり、有意性の判断が保守的になりやすい。
3.2.1 標準誤差の増大
標準誤差は係数の不確実性を表し、共線性があると推定の情報が分散されるため、標準誤差が増える傾向がある。前節の「揺れ」を数値的に反映した結果と考えると分かりやすい。
VIFが高い場合、係数分散が膨張するため標準誤差も大きくなる。したがって標準誤差の増大は、診断指標の意味と整合的に理解できる。
3.2.2 有意性の見え方の変化
標準誤差が膨らむと、同じ推定係数であっても統計的な有意性が出にくくなる。結果として、実際には関連があるにもかかわらず、有意でないという結論になりやすい。
ここで重要なのは、「係数が本質的にゼロである」という意味とは限らない点である。検出力の低下や推定の不確実性の増大により、統計的検定が厳しくなることで生じる現象として理解する必要がある。
3.3 予測性能との関係
多重共線性は推論を難しくすることが多いが、予測の品質に対して一律に悪影響が出るわけではない。予測性能と推定の目的は必ずしも同じではないためである。
3.3.1 予測は保たれる場合と崩れる場合
線形回帰の枠組みで、データ分布が安定している場合には、予測誤差が大きく悪化しないことがある。これは、当てはまり（予測に必要な線形結合）が良好であれば、係数が多少不安定でも予測が維持される可能性があるためである。
一方で、外挿や分布変化がある場合、あるいはモデルが過度に複雑である場合には、予測が不安定化することもある。係数の解釈が難しくなるだけでなく、データが異なる状況で当てはまりが崩れると、予測性能が低下し得る。
3.3.2 目的関数の違い（推論か予測か）
推論（係数の意味づけ、検定、信頼区間）と予測（汎化誤差の最小化）は、評価軸が異なる。共線性は係数推定の分散を通じて推論の確実性を下げやすいが、予測では損失関数や正則化の扱いが異なるため、影響の現れ方が変わる。
したがって対処の優先順位も変わり得る。係数の説明が主目的なら変数設計や正則化で安定性を上げる必要があるが、純粋な予測精度が主目的なら、交差検証で性能を確認しつつ、過学習リスクを抑える選択を行うのが現実的である。
4 対処法
4.1 変数選択と縮約
変数間の情報重複を減らすことは、多重共線性への基本的な対処である。縮約や削減は、モデルを「より独立な情報」によって組み立て直す発想に近い。
4.1.1 変数の削減・入れ替え
相関が高い複数の変数のうち、理論的に優先順位があるものだけを残したり、指標の定義を統一して重複を抑えたりする。入れ替えによって同等の説明力を維持しつつ、独立性を改善できることがある。
削減の際は、単に統計的な相関だけで決めるのではなく、目的（説明したい概念、測定の妥当性）に照らして判断することが重要である。そうしないと、モデルの意味が変わってしまう可能性がある。
4.1.2 相関の高い変数の整理
相関が高い変数群について、共通因子や計測方法の違いを整理し、どの概念を表しているのかを明確化する。たとえば、同じ概念の異なる尺度なら代表値にまとめる、内訳と合計の関係ならどちらを採用するかを決める、といった設計が考えられる。
また、データ生成過程に立ち返り、「なぜ同時に動くのか」を理解することで、必要な情報がどこにあるかを再評価できる。整理は形式的な削除ではなく、変数の役割の再定義として行うと成果が安定しやすい。
4.2 正則化による改善
正則化は係数の大きさに罰則を与えることで、推定の不安定化を抑える方法である。共線性があるときに特に効果を発揮しやすい。
4.2.1 リッジ回帰
リッジ回帰は係数の二乗和に罰則を課し、過度に大きな係数が出るのを抑制する。共線性が強い場合、係数の分散を縮め、解の安定性を改善する方向に働く。
リッジ回帰は係数をゼロにしにくいため、変数選択を厳密に行う目的にはやや向かない一方、予測の安定性を高める用途でよく使われる。ハイパーパラメータの選択は交差検証などで行う。
4.2.2 ラッソ回帰
ラッソ回帰は係数の絶対値に罰則を与えるため、条件によっては係数がちょうどゼロになる。結果として、変数の選別（スパース化）を同時に進められることがある。
多重共線性があると、どの変数がゼロになるかがデータに依存しやすい場合がある。したがって、解釈の安定性を重視する場合は次のエラスティックネットも選択肢になる。
4.2.3 エラスティックネット
エラスティックネットはリッジとラッソの罰則を組み合わせ、係数の抑制とスパース化のバランスを取る手法である。相関の高い変数群に対して、片方だけ残すよりも複数を保持しつつ全体を安定化させる方向に働くことがある。
実務では、相関構造が複雑なデータに対して性能と解釈の折り合いを取りやすいとして使われる。係数の扱いは正則化強度と混合比に依存するため、検証設計の丁寧さが重要になる。
4.3 次元削減
次元削減は、共線性の原因である情報の重なりを、より少数の潜在的特徴へ圧縮する発想である。これにより、説明変数間の独立性を作りやすくなる。
4.3.1 主成分分析（PCA）と再構成
PCAは説明変数を互いに直交する主成分に変換し、分散が大きい方向から順に情報を保つ。主成分は互いに独立（直交）な性質を持つため、線形回帰において共線性の影響を弱めることができる。
再構成の観点では、少数の主成分で元の情報を近似し、回帰の入力として使うことでモデルの安定性が改善される場合がある。ただし、解釈は元の変数そのものではなく主成分の寄与に移るため、係数の意味づけが目的の場合には注意が必要である。
4.3.2 部分最小二乗法（PLS）
PLSは説明変数の圧縮を、目的変数との関係を考慮しながら行う。PCAが主に説明変数の分散を基準に圧縮するのに対し、PLSは予測に資する方向を選ぶ。
そのため、予測目的に対して比較的適合しやすいことがある。変数圧縮の次元選択は重要で、過剰に多い成分を用いると過学習のリスクが残る。
4.4 モデル化の工夫
変数そのものの扱いを見直すことで、共線性を直接の原因ではなく、表現上の問題として緩和することができる。
4.4.1 特徴量の再設計（差分・比・集約）
差分や比などの変換は、スケールに関する重複や同じ情報の繰り返しを減らすことがある。たとえば、合計と内訳の両方を入れるより、内訳比率や差分に置き換えると情報の重なりが整理される場合がある。
また、地域や時点の集約（集計レベルの統一）によって、同じ現象の繰り返しを抑制できる。特徴量再設計では、変換が解釈をどう変えるかを明確にしておくと後工程がスムーズになる。
4.4.2 相互作用項や非線形の扱い
共線性の原因が単純な線形重複ではなく、条件付きの関係にある場合には、非線形化や相互作用項を適切に入れることで、表現が改善されることがある。これにより、単純な線形項だけで無理に解こうとして生じていた不安定化が緩和される可能性がある。
ただし相互作用を増やすと変数数が増え、別の形で不安定化を招くこともある。正則化や次元削減と組み合わせ、検証で妥当性を確認する運用が適している。
4.5 実務での意思決定
対処の選択は、研究の目的、求める出力（解釈か予測か）、利用可能なデータ量に依存する。診断結果は行動につながって初めて意味を持つ。
4.5.1 研究目的に合わせた選択
係数の解釈が中心なら、変数の設計見直しや縮約、正則化で安定性を高めることが優先されやすい。予測が中心なら、交差検証で汎化性能を確認しつつ、リッジやエラスティックネットのような安定化手法を採用する判断が合理的になることが多い。
また、因果推論を志向する場合には、単なる共線性対策が意味論を損なわないように注意が必要である。統計的に扱いやすくすることと、研究上の仮説を保つことは両立させるべき観点である。
4.5.2 交差検証による評価の考え方
モデル選択では、共線性対策によって性能がどう変化するかを検証する必要がある。交差検証を用い、目的関数（平均二乗誤差、平均絶対誤差、適合率やAUCなど）に基づいて比較すると、過学習や過度な削減の影響を把握できる。
診断指標で不安定性が示唆された場合でも、検証で予測性能が維持されているなら、推論目的では追加の対処が必要かどうかを整理できる。逆に、予測が悪化しているなら、変数削減や圧縮の設計が適切でなかった可能性を点検する。