1 定義と基本性質
1.1 数学的定義
p個の確率変数X₁, X₂, ..., Xₚからなる多次元確率変数ベクトルX = (X₁, X₂, ..., Xₚ)ᵀを考える。各変数の平均がμᵢ = E[Xᵢ]で与えられるとき、共分散行列Σはp×p行列であり、その(i, j)成分は以下のように定義される。
Σᵢⱼ = Cov(Xᵢ, Xⱼ) = E[(Xᵢ - μᵢ)(Xⱼ - μⱼ)]
ここでEは期待値を表す。行列形式ではΣ = E[(X - μ)(X - μ)ᵀ]と表記される。共分散は変数間の線形的な関係の強さと方向を測定し、正の値は正の相関、負の値は負の相関を示す。
1.2 対称性と非負定値性
共分散行列は常に対称行列である。すなわち、任意のi, jに対してΣᵢⱼ = Σⱼᵢが成立する。これは共分散の定義Cov(Xᵢ, Xⱼ) = Cov(Xⱼ, Xᵢ)から直接導かれる。
さらに、共分散行列は非負定値（半正定値）である。任意の非ゼロベクトルa ∈ ℝᵖに対して、aᵀΣa ≥ 0が成り立つ。この性質は、任意の線形結合aᵀXの分散が非負であることから導かれる。非負定値性は、共分散行列の固有値がすべて非負であることと同値である。
1.3 分散との関係
共分散行列の対角成分は各変数の分散に対応する。すなわち、Σᵢᵢ = Var(Xᵢ) = σᵢ²である。非対角成分である共分散は、標準偏差の積で割ることにより相関係数に変換できる。すなわち、Corr(Xᵢ, Xⱼ) = Σᵢⱼ / (σᵢσⱼ)である。
分散共分散行列とも呼ばれるこの行列は、各変数の個別のばらつき（分散）と変数間の相互関係（共分散）を統一的に記述する。
2 幾何学的解釈
2.1 楕円体との対応
平均ベクトルμ、共分散行列Σを持つ多次元正規分布N(μ, Σ)を考える。この分布の確率密度関数が一定となる点の集合は、方程式(x - μ)ᵀΣ⁻¹(x - μ) = c²（cは定数）で表される楕円体を形成する。この楕円体は、データの広がりの形状を視覚的に表現する。
楕円体の軸の方向はΣの固有ベクトルによって与えられ、各軸方向の広がりの度合いは対応する固有値の平方根に比例する。データが共分散行列を持たない場合（単位行列の場合）、楕円体は球体となる。
2.2 主軸と固有値分解
共分散行列Σは固有値分解によりΣ = QΛQᵀと表せる。ここでQは直交行列（固有ベクトルを列とする）、Λは固有値λ₁ ≥ λ₂ ≥ ... ≥ λₚ ≥ 0を対角成分とする対角行列である。この分解はデータの主要な変動方向を特定する。
2.2.1 固有ベクトルの意味
固有ベクトルはデータの分散が最大となる方向を示す。第一固有ベクトルは最大の分散を持つ方向、第二固有ベクトルは第一固有ベクトルに直交する方向の中で最大の分散を持つ方向を表す。これらの直交する方向は、データの新しい座標系を構成する。
2.2.2 固有値の大小とデータの広がり
固有値λᵢは対応する固有ベクトル方向におけるデータの分散を表す。大きな固有値はその方向にデータが大きく広がっていることを示し、小さな固有値はその方向の変動が小さいことを示す。特に、固有値がゼロに近い場合、対応する方向にはほとんどデータの変動がなく、変数間に強い線形従属関係が存在する可能性がある。全分散は全固有値の和Σᵢλᵢに等しい。
3 推定と計算
3.1 標本共分散行列
n個の観測データx₁, x₂, ..., xₙ（各xₖはp次元ベクトル）が与えられたとき、標本平均ベクトルx̄ = (1/n)Σₖ₌₁ⁿ xₖを用いて、標本共分散行列Sは次のように計算される。
S = (1/n) Σₖ₌₁ⁿ (xₖ - x̄)(xₖ - x̄)ᵀ
各要素Sᵢⱼは標本共分散Cov̂(Xᵢ, Xⱼ) = (1/n) Σₖ₌₁ⁿ (xₖᵢ - x̄ᵢ)(xₖⱼ - x̄ⱼ)で与えられる。この行列も対称かつ非負定値である。
3.2 不偏推定量
標本共分散行列Sは(1/n)で割るため、母集団共分散行列Σの不偏推定量ではない。不偏推定量を得るためには、自由度n-1で調整した標本共分散行列Sᵤを使用する。
Sᵤ = (1/(n-1)) Σₖ₌₁ⁿ (xₖ - x̄)(xₖ - x̄)ᵀ
このSᵤはE[Sᵤ] = Σを満たす。ただし、固有値などの推定においては、nが小さい場合にバイアスが生じることが知られている。
3.3 欠損値がある場合の取り扱い
欠損値を含むデータから共分散行列を推定する場合、以下の手法が一般的である。
- 完全ケース解析：欠損値のない観測のみを使用する。単純だが、データの損失が大きくなる可能性がある。
- ペアワイズ削除：各共分散の計算に対し、両方の変数が観測されたデータのみを使用する。ただし、得られた行列が非負定値性を満たさない場合がある。
- 最尤推定法：データが多変量正規分布に従うと仮定し、EMアルゴリズムなどを用いて推定する。
4 応用例
4.1 主成分分析
主成分分析（PCA）は共分散行列の固有値分解に基づく次元削減手法である。データの共分散行列Σを計算し、その固有ベクトルを主成分方向として抽出する。第一主成分は最大固有値に対応する固有ベクトル方向であり、データの最大分散を説明する。寄与率は各固有値を全固有値の和で割った値で表され、累積寄与率を用いて保持する主成分数を決定する。PCAはデータの可視化、ノイズ除去、特徴抽出などに広く応用される。
4.2 マハラノビス距離
マハラノビス距離は共分散行列を用いて定義される距離尺度であり、変数間の相関構造を考慮する。点xと平均μの間のマハラノビス距離はD² = (x - μ)ᵀΣ⁻¹(x - μ)で与えられる。この距離は、データの分布形状を楕円体で捉え、各方向のばらつきの違いを標準化する。異常検知、クラスタリング、判別分析などの多変量解析で頻繁に利用される。
4.3 時系列分析における共分散行列
時系列データにおいて、共分散行列は時間ラグを考慮した自己共分散行列へと拡張される。例えば、定常過程ではラグkの自己共分散行列Γ(k) = E[(Xₜ - μ)(Xₜ₊ₖ - μ)ᵀ]が定義される。金融時系列では、ポートフォリオ最適化のためのリスク評価において資産間の共分散行列が中心的役割を果たす。また、ベクトル自己回帰モデル（VAR）の推定やグレンジャー因果性の検定においても共分散行列が重要な情報を提供する。
5 特殊なケースと拡張
5.1 相関行列との変換
共分散行列Σから相関行列Rへの変換は、標準偏差によるスケーリングで行われる。各変数の標準偏差σᵢ = √Σᵢᵢを用いて、対角行列D = diag(σ₁, σ₂, ..., σₚ)を定義すると、相関行列はR = D⁻¹ΣD⁻¹と表せる。逆に、共分散行列はΣ = D R Dで復元できる。相関行列は各変数の尺度の影響を取り除き、変数間の関係性の比較を容易にする。一方で、共分散行列は元のデータの尺度情報を保持するため、データの解釈において両者を使い分ける必要がある。
5.2 スパース共分散行列
高次元データ（pがnより大きい場合など）では、多くの変数間の共分散がゼロであるという仮定のもと、スパース共分散行列推定が行われる。グラフィカルラッソなどの手法を用いて、条件付き独立関係を表す精度行列（共分散行列の逆行列）のスパース構造を推定する。スパース推定により、解釈可能性が向上し、過学習を防ぐ効果がある。遺伝子発現データや脳機能画像データなど、変数数が観測数を上回る状況で特に重要である。
5.3 行列の正則化（リッジ推定など）
標本共分散行列は、特に高次元設定において不安定になりやすく、最大固有値と最小固有値の比が極端に大きくなる傾向がある。これを改善するための正則化手法として、リッジ推定が広く用いられる。リッジ推定では、標本共分散行列Sに小さな正の定数λを加えたSᵣ = S + λIを使用する。これにより、固有値がすべて正となり、逆行列の安定性が向上する。より洗練された手法として、固有値を縮小推定する方法や、目標行列への縮約を行う方法（例えば、Sと単位行列や相関行列との凸結合）がある。正則化は、金融リスク管理やゲノム解析など、ノイズの多い高次元データの解析において不可欠な技術である。