1 分散共分散行列の基本
1.1 定義と直観
分散共分散行列（variance-covariance matrix）は、複数の確率変数の同時的なばらつきと、その連動の度合いを行列の形で要約するための対象である。ある変数は単独でも不確実性を持つが、別の変数と同時に変動する場合、その結びつきは分散だけでは表せない。そこで、共分散を非対角成分として組み込み、行列全体で「どれがどれだけ一緒に増減するか」をまとめて表現する。
直観的には、行列は多次元空間上での散らばりの向きと広がりを表す地図のような役割を持つ。対角成分が各方向の強さ（その変数のばらつき）に対応し、非対角成分は相互の相関の向き（共に変化する方向）に対応する。
1.2 成分の意味（分散と共分散）
分散共分散行列の成分は、対応する確率変数の分散と共分散である。変数 \(X_i\) の分散は、平均との差からの偏りがどれほど大きいかを示す指標であり、非負の量として解釈される。一方、共分散 \( \mathrm{Cov}(X_i, X_j)\) は、両者が同じ方向に増減する傾向があるか、逆向きに変化する傾向があるかを示す。正の値なら同方向、負の値なら反方向の連動を意味し、ゼロは少なくとも線形の結びつきが弱いことを示唆する（完全に独立であることを常に保証するわけではない）。
このため、行列の各要素は「対象の変数の単独の不確実性」と「変数間の連動」を同時に把握するための情報として機能する。
1.3 行列の性質（対称性・半正定値性）
分散共分散行列は一般に対称行列である。つまり、\( \mathrm{Cov}(X_i, X_j) = \mathrm{Cov}(X_j, X_i)\) が成り立つため、非対角成分は左右対称に並ぶ。対称性は計算上の扱いやすさにもつながり、固有値解析などの理論を適用しやすくする。
さらに、分散共分散行列は半正定値である。具体的には任意の係数ベクトル \(a\) に対し、二次形式 \(a^\top \Sigma a\) が非負となる。この性質は「任意の線形結合に対して分散が負になることはない」という事実から導かれる。半正定値性は、後述する多変量正規分布の定義や、数値計算における安定性の根拠にもなる。
1.4 共分散と相関の関係
共分散は変数の単位に依存するため、異なる尺度の比較が難しくなる場合がある。そこで相関係数が使われる。相関は共分散を各変数の標準偏差で正規化した量であり、値域は概ね \([-1,1]\) に収まる。これにより、異なる単位の変数間でも連動の強さを比較しやすくなる。
ただし、相関は分散共分散行列の中身の「正規化された見え方」に過ぎない。共分散行列は単位とスケールを含んだ構造を保持し、相関行列はその情報を標準化した構造として見ることになる。
2 数学的表現
2.1 ベクトルとしての確率変数
複数の確率変数 \(X_1,\dots,X_d\) をまとめて、確率ベクトル \(X=(X_1,\dots,X_d)^\top\) と書くと表現が簡潔になる。分散共分散行列は、ベクトル \(X\) のばらつきの構造を示す行列として定義される。ここで次元 \(d\) は変数の数、あるいはデータの特徴量の数に相当する。
このベクトル化により、行列の操作が単一変数の計算に対応する形で整理される。例えば線形結合 \(a^\top X\) の分散が、分散共分散行列を用いて \(a^\top \Sigma a\) と書けるようになる。
2.2 平均と中心化（共分散の計算）
共分散の定義は、平均からのズレを使う「中心化」操作に基づく。確率ベクトル \(X\) の平均を \(\mu = \mathbb{E}[X]\) とすると、中心化したベクトルは \(X-\mu\) で表される。共分散行列は、この中心化ベクトルの外積の期待値として与えられる。
成分表示に戻せば、\(\Sigma_{ij}=\mathbb{E}\big[(X_i-\mu_i)(X_j-\mu_j)\big]\) となる。ここで \(\mu_i=\mathbb{E}[X_i]\) である。中心化を行うことで、位置（平均）に依存しない「形（散らばり）の情報」に焦点が当たる。
2.3 行列表現と期待値
分散共分散行列 \(\Sigma\) は、中心化ベクトルの期待値として次の形で書ける。 \[ \Sigma = \mathbb{E}\big[(X-\mu)(X-\mu)^\top\big]. \] この式は、対角成分が分散、非対角成分が共分散になることを一括で示している。行列としての積を通して相互の連動が自然に表現されるため、解析や導出が容易になる。
また、線形変換に対する振る舞いも行列表現から読み取れる。例えば、行列 \(A\) によって \(Y=AX\) と変換すると、分散共分散行列は \(\Sigma_Y = A\Sigma_X A^\top\) の形で更新される。これは、変数の回転やスケーリングに伴う散らばり構造の変形を表す。
2.4 導関数・積分との関係（一般論）
分散共分散行列は、確率分布の持つパラメータに関する統計量として登場するため、積分（期待値）を介して確率密度や分布関数と結びつく。例えば連続分布では、期待値が積分として表され、分散共分散行列の各成分は密度のもとでの積分によって与えられる。
また推論の場面では、尤度関数に対する微分により共分散が含まれる推定量や勾配が導出されることがある。一般論として、分散共分散は「確率分布の二次モーメント」に関する情報であり、パラメータ更新則の導出にも二階の情報が現れやすい。多変量正規分布のように解析的に扱いやすい場合には、導関数と積分の関係が直接的に計算へ落ちる。
3 推定と実データへの適用
3.1 サンプル分散共分散行列
現実のデータでは母集団の分散共分散行列 \(\Sigma\) は未知であり、有限個の観測から推定する必要がある。観測を \(x^{(1)},\dots,x^{(n)}\) とし、標本平均 \(\bar{x}\) を用いると、中心化されたデータから共分散行列を構成できる。
一般形として、標本共分散は「中心化外積の平均」に相当する。係数の選び方により、後述のように不偏性が調整されるが、計算量や数値安定性の観点では実装上の規約が重要になる。推定された行列はデータの散らばりを反映し、後続の解析（次元削減や回帰など）の入力として機能する。
3.2 不偏推定と偏りの考え方
不偏推定とは、期待値の意味で真の値に一致する推定量を選ぶ考え方である。共分散の推定では、平均との差を標本平均で置き換えることによって自由度が失われる。そのため、単純に外積平均を取るだけだと系統的な過小評価が生じることがある。
この補正として、一般に分母に \(n\) ではなく \(n-1\) を用いる形が知られており、これにより分散の推定が不偏になるよう設計される。行列全体でも同様の調整が行われ、推定値の平均的なズレを抑える。偏りはサンプル数が小さいほど影響が大きく、高い次元では評価の難しさが増すため、目的に応じて推定戦略を選ぶ必要がある。
3.3 標準化（相関行列への変換）
分散が大きい成分は、共通の尺度で比較すると過大に見えることがある。そこで各変数の標準偏差で割ることで尺度を揃え、相関構造だけを取り出す。具体的には、共分散行列 \(\Sigma\) を対角成分の平方根で正規化し、相関行列を得る。
相関行列は対角が 1 になり、非対角は連動の方向と相対強度として解釈できる。標準化により数値のスケール差が緩和され、解釈や可視化、条件数の改善に寄与することがある。ただし標準化は情報を捨てる操作でもあるため、どの側面が必要かに応じて使い分ける。
3.4 高次元での注意点（次元の呪い・過学習）
次元が高くサンプル数が少ない状況では、推定した分散共分散行列が不安定になりやすい。これは「次元の呪い」と関連し、少数の観測では各方向の散らばりを十分に学習できないためである。結果として、推定行列の固有値や逆行列（精度行列に相当）が大きくぶれる可能性がある。
また過学習の観点では、データ特有のノイズが共分散推定に強く反映される。特に特徴数が観測数に近い場合、行列がほぼ特異になり、計算誤差や数値不安定が増えやすい。対策としては、正則化（リッジ型の工夫）、縮小推定、次元削減の併用などが検討されることが多い。目的が分類や予測の場合、推定誤差が最終性能に直結するため、評価設計が重要になる。
4 応用分野
4.1 多変量正規分布と尤度
多変量正規分布では、平均ベクトルと分散共分散行列が分布の形を決める主要なパラメータになる。尤度は観測値がこの確率モデルにどれだけ整合するかを測り、分散共分散行列は密度の指数部と正規化定数の両方に現れる。
具体的には、観測ベクトル \(x\) の尤度（あるいは対数尤度）において、二次形式 \((x-\mu)^\top \Sigma^{-1}(x-\mu)\) と行列式 \(\det(\Sigma)\) が重要な役割を果たす。したがって、\(\Sigma\) の推定精度は確率評価やパラメータ推定に直結する。逆行列や行列式が計算できない状態では尤度評価が破綻するため、実装では数値安定性を重視した工夫が求められる。
4.2 主成分分析（分散最大化）
主成分分析（PCA）は、データの散らばりを低次元に要約する代表的手法であり、分散共分散行列が出発点になる。中心化したデータに対する共分散行列の固有分解を行うと、最大の分散を持つ方向（第一主成分）が固有ベクトルとして得られる。
直観として、PCAは「データが最も広がっている方向を探し、その方向への射影を情報として残す」作業である。以降の成分は先の方向と直交しながら、残された空間で分散が最大になるように選ばれる。この性質により、次元削減だけでなくデータの構造理解にも役立つ。分散最大化という観点は、共分散行列の二次形式と整合して説明できる。
4.3 線形回帰・誤差伝播
線形回帰では、係数推定に誤差の構造が関与するため、分散共分散は自然に関わる。観測誤差が複数変数間で連動しうる場合、誤差共分散行列が推定の重み付けや推定量の分散評価に影響する。特に一般化最小二乗法のように誤差の相関を踏まえる枠組みでは、共分散構造がそのまま目的関数や推定性能に反映される。
また誤差伝播の観点でも重要である。ある推定値が確率変数の関数で表されるとき、その不確実性はヤコビアンなどを通じて共分散の形で伝播する。近似的には線形化により、出力の分散は入力の分散共分散と微分情報から組み立てられる。これにより、モデルの変換や合成の後に生じる不確実性を見積もることが可能になる。
4.4 データの変換（ホワイトニング等）
分散共分散行列は、データ変換の設計にも使われる。代表例としてホワイトニングは、変数間の相関を除去し、成分の分散を揃えた状態に変換することを目指す。標準化だけでは解消しきれない相関を、共分散の構造を用いて除去するため、固有値分解や行列の平方根・逆平方根といった操作が関係する。
変換後のデータは、少なくとも第二次の統計量の観点で「より独立に近い」状態として扱えることが多い。機械学習では学習の安定化、信号処理では雑音や混合の整理といった目的で利用される場合がある。どの程度の条件でどれだけ相関が抑えられるかは、推定した共分散の品質や変換の規約に依存するため、評価と検証が望ましい。