第1主成分

1 定義と基本概念

1.1 主成分分析における位置づけ

主成分分析（PCA）は、多次元データの構造を要約するための統計的手法である。その中で第1主成分は、元の変数群から合成される線形結合のうち、データの分散を最大に保つ軸として中心的な役割を果たす。PCAの目的は、情報損失を最小限に抑えながら少数の主成分でデータを表現することにあり、第1主成分はこの目的の基盤となる。

1.2 数学的定義

1.2.1 分散最大化の基準

1.2.2 固有値と固有ベクトルとの関係

分散最大化の条件をラグランジュの未定乗数法で解くと、共分散行列 \( \mathbf{\Sigma} \) の固有値問題に帰着する。第1主成分の重みベクトル \( \mathbf{w}_1 \) は、\( \mathbf{\Sigma} \) の最大固有値に対応する固有ベクトルであり、対応する固有値 \( \lambda_1 \) が第1主成分の分散となる。

1.3 幾何学的解釈

1.3.1 データの射影方向

幾何学的には、第1主成分はデータ点の集まりが最も広がる方向を指す。つまり、各データ点をこの軸に射影したときのばらつきが最大になる。この射影は、元の高次元空間におけるデータの主要な伸び方向を捉える。

1.3.2 第1主成分とデータのばらつき

データの全分散に占める第1主成分の分散の割合は、その寄与率として表される。第1主成分が大きいほど、元のデータの構造が単一の軸でよく説明されることを示す。

2 計算方法

2.1 共分散行列または相関行列の利用

2.1.1 標準化の要否とその影響

第1主成分の計算には、変数間の共分散行列または相関行列が用いられる。変数の単位やスケールが異なる場合、標準化（平均0、分散1）を行い相関行列を使用する。標準化しない場合、分散の大きい変数が第1主成分に過度に影響を与える可能性がある。

2.2 固有値分解による導出

2.2.1 固有値の大きさと寄与率

共分散行列（または相関行列）を固有値分解すると、固有値の大きさが各主成分の分散に対応する。第1固有値 \( \lambda_1 \) を全固有値の和で割った値が第1主成分の寄与率であり、これによりデータの情報保持率が評価される。

2.3 特異値分解（SVD）を用いたアプローチ

2.3.1 SVDと主成分得点の関係

データ行列 \( \mathbf{X} \) を特異値分解 \( \mathbf{X} = \mathbf{U} \mathbf{D} \mathbf{V}^\top \) すると、右特異ベクトル \( \mathbf{V} \) の第1列が第1主成分の重みに対応する。また、主成分得点は \( \mathbf{U} \mathbf{D} \) の第1列として得られ、計算の効率性からSVDは標準的な手法である。

3 解釈と応用

3.1 主成分負荷量と変数の寄与

主成分負荷量は、元の変数と第1主成分との相関係数として解釈される。絶対値が大きい変数ほど、その主成分の形成に強く寄与している。負荷量の符号は変数間の関係の向きを示す。

3.2 次元削減における役割

3.2.1 情報保持率の評価（累積寄与率）

第1主成分とそれに続く主成分の累積寄与率が、次元削減後の情報保持の指標となる。通常、累積寄与率が80%以上になるまで主成分を採用する。

3.3 データ可視化への応用

3.3.1 バイプロットと第1・第2主成分

バイプロットは、第1主成分と第2主成分の平面上にデータ点と変数ベクトルを同時に表示する。第1主成分軸はデータの最大分散方向を視覚化し、クラスタや傾向の把握に役立つ。

3.4 他の統計手法との連携

3.4.1 教師あり学習の前処理として

第1主成分を含む主成分スコアを特徴量として使用することで、多重共線性の除去やノイズ低減が可能となる。回帰分析や分類器の性能向上に寄与する。

3.4.2 異常検知への利用例

第1主成分から大きく外れたデータ点は、異常値として検出されることがある。再構成誤差やホテリングのT²統計量を用いた手法が代表的である。

4 限界と注意点

4.1 線形性の仮定

PCAは変数間の線形関係を前提としており、非線形構造を持つデータには適さない。非線形次元削減手法（例：カーネルPCA）との使い分けが必要である。

4.2 外れ値に対する感受性

外れ値は分散を大きく歪めるため、第1主成分の方向に過度に影響を与える。ロバストPCAなどの頑健な手法が代替として存在する。

4.3 解釈の難しさ（意味付けの問題）

第1主成分は数学的に最適な方向であるが、実際の意味づけが困難な場合がある。負荷量が複数の変数に分散するため、物理的な解釈が曖昧になる。

4.4 高次元データでの注意（スパースPCAとの比較）

高次元小標本データでは、固有値の推定が不安定になり、第1主成分が過学習しやすい。スパースPCAは負荷量の疎性を導入することで解釈性を向上させる。