共分散 - Ciallo Wiki | チャロ百科

1 定義

共分散は、二つの変数が同じ方向に動くか、反対方向に動くかを示す尺度である。値が正なら同方向の変動が目立ち、負なら一方の増加に対して他方が減少しやすい。0に近い場合は、少なくとも線形な同調が弱いことを意味する。

確率変数 \(X\) と \(Y\) の共分散は、両者がそれぞれの平均からどれだけずれているかの積の平均として定義される。平均を基準にして同時の変化を測るため、単独の大きさではなく、変動の向きと連動の強さに注目する。

標本共分散は、観測されたデータ列から計算する共分散である。有限個の観測値だけをもとに、二つの量の動きがどの程度対応しているかを推定する際に用いられる。記述統計や推測統計の初歩で頻繁に現れる。

母共分散は、母集団全体に対する理論上の共分散である。実際のデータ分析では直接観測できないことも多く、標本から推定される対象となる。確率モデルの内部構造を表す基本量として重要である。

共分散は、平均からのずれを材料にするため、平行移動に対して本質的に安定している。一方で、尺度の取り方には影響を受けるため、単位が異なる変数同士では値の大きさをそのまま比較しにくい。

共分散は各変数に対する線形変換に対して、一定の規則に従って変化する。片方を定数倍すると共分散も同じ倍率で拡大または縮小され、和をとった場合には対応する項が加算される。この性質により、複雑な変量の組み合わせでも扱いやすい。

二つの変数の共分散は、順序を入れ替えても同じ値になる。つまり、\(X\) と \(Y\) の共分散は \(Y\) と \(X\) の共分散に等しい。これは、両者の関係が対称的に測られることを示している。

共分散は分散の一般化とみなせる。分散は一つの変数を自分自身と比べた共分散に相当し、変動の大きさを表す。したがって、共分散の枠組みは、単変量のばらつきと多変量の連動を一つの考え方で結びつける。

同じ確率変数を二つの引数に取ると、その共分散は分散になる。時間列や関数値の解析では、同一対象の異なる位置や時点の関係を調べる文脈で自己共分散という言葉が使われることもある。

共分散が0であれば、少なくとも平均からの一次的な同方向変動は見られない。ただし、独立を必ず意味するわけではない。非線形な関係が存在していても、共分散だけでは検出できない場合がある。

共分散は、理論式から求める方法と、観測データから求める方法に大別される。どの式も、平均からの偏差を積にしてまとめるという基本構造を共有している。

確率変数については、平均との差の積の期待値として表される。これは、\(X\) と \(Y\) の平均的な同時変動を直接定義する方法であり、確率論の標準的な出発点である。期待値の計算ができれば、理論上の共分散を求められる。

標本データでは、各観測値から標本平均を引き、その積を平均する形で求める。実務では、分母に標本数を使う場合と、推定量として補正した形を使う場合がある。目的が記述か推定かによって、採用される式が異なる。

データを平均中心化してから計算すると、式の見通しがよくなる。各値から平均を差し引くことで、位置の違いを除き、変動の対応だけを抽出できる。行列計算や多変量解析では、この表現が特に便利である。

共分散は単独でも有用だが、より広い分析では他の統計量と組み合わせて解釈される。特に、相関係数、分散共分散行列、回帰分析とは密接につながっている。

相関係数は、共分散を標準偏差で正規化した量である。単位の影響を取り除くため、異なる尺度の変数同士でも強さを比較しやすい。共分散が大きくても尺度依存であるのに対し、相関係数は通常、-1から1の範囲で理解される。

分散共分散行列は、複数の変数の分散と共分散を並べた正方行列である。対角成分が各変数の分散、非対角成分が変数間の共分散を表す。多変量統計では、データ全体の構造をまとめて記述する中心的な道具となる。

回帰分析では、説明変数と目的変数の関係を数量的に捉えるが、その基礎に共分散がある。共分散の符号や大きさは、変数間の線形な結びつきの方向を理解する手がかりになる。最小二乗法や推定理論でも、変動の結びつきが重要な役割を果たす。