1.1 従来のPCAの限界
主成分分析（PCA）は、データの分散を最大化する直交基底を求める手法である。しかし、通常のPCAではすべての元変数に非ゼロの負荷が割り当てられるため、得られた主成分の解釈が困難になる。特に高次元データ（変数数がサンプル数を超える場合など）では、各主成分が多数の変数の加重和となり、意味のあるパターンを抽出しにくい。また、ノイズ変数が含まれる場合には過学習が生じやすく、汎化性能が低下する問題もある。
1.2 スパース性の必要性
スパース性を導入することで、主成分の負荷のうち大部分をゼロにし、少数の重要な変数のみが寄与する解を得られる。これにより、各主成分がどの変数に基づいているかが明確になり、解析結果の解釈性が大幅に向上する。さらに、不要な変数を自動的に除去する変数選択の効果もあり、過学習の抑制や計算効率の改善にも寄与する。これらの利点から、スパースPCAは高次元データ解析の実践的なツールとして広く採用されている。
2.1 目的関数
スパースPCAの目的関数は、通常のPCAの分散最大化または再構成誤差最小化の枠組みに、負荷ベクトルに対するスパース性を促す正則化項を加えた形で定式化される。代表的な定式化では、データ行列\(X\)（n×p）に対して、以下のような最適化問題を解く。
\[
| \min_{A, B} \| X - X B A^\top \|_F^2 + \lambda \sum_{j=1}^k \| \beta_j \|_1 \quad \text{s.t.} \quad A^\top A = I |
|---|
\]
ここで、\(A\)は主成分のローディング行列、\(B\)はスパースな負荷行列、\(\beta_j\)は\(B\)の第\(j\)列、\(\lambda\)は正則化パラメータである。
2.2 正則化項の種類（L1正則化・L0正則化など）
スパース性を誘導する正則化項にはいくつかの種類がある。L1正則化（ラッソ）は負荷の絶対値の和を罰則として加え、連続的な縮小と変数選択を同時に行う。L0正則化は非ゼロ要素の個数を直接制約するが、組合せ最適化問題となり計算が困難なため、近似手法が用いられる。また、L2正則化（リッジ）を併用したエラスティックネットもよく使われる。
2.2.1 エラスティックネットとの関係
エラスティックネットはL1正則化とL2正則化を組み合わせたもので、スパースPCAにおいても安定した解を得るために用いられる。Zouら(2006)のSPCAアルゴリズムでは、PCAを回帰問題に置き換えた上でエラスティックネット正則化を適用している。これにより、変数選択の堅牢性が向上し、相関の高い変数群を同時に選択または除外する効果も得られる。
3.1 SPCAアルゴリズム（Zou et al.）
Zou、Hastie、Tibshiraniによって提案されたSPCAアルゴリズムは、PCAの負荷行列を回帰係数として扱い、エラスティックネット正則化を適用する手法である。具体的には、まず通常のPCAで得られた主成分スコアを目的変数とし、元変数を説明変数とする回帰問題を解く。この過程を交互に繰り返すことで、スパースな負荷行列を得る。この手法は計算が効率的で、実用的な性能を持つ。
3.2 交互最適化法
負荷行列とスコア行列を交互に更新するアプローチである。各反復で、一方を固定して他方を最適化し、正則化項を考慮した更新を行う。例えば、負荷行列の更新では、各列に対してプロキシマル勾配法や座標降下法を適用してスパース解を得る。この方法は収束が保証されており、様々な拡張が容易である。
3.3 その他のアプローチ（SVD-based, 確率的勾配法）
特異値分解（SVD）に基づく手法では、特異ベクトルにスパース制約を課すことで主成分を直接求める。例えば、打ち切りSVDにL1正則化を加える方法がある。また、確率的勾配法は大規模データにおける効率的な学習を可能にし、ミニバッチ処理によりメモリ消費を抑えながら近似解を得る。これらの手法は、データサイズが非常に大きい場合やオンライン学習が必要な場面で有用である。
4.1 解釈可能性の向上
スパースPCAでは、各主成分に寄与する変数が少数に限定されるため、その主成分が表す意味を直感的に理解できる。例えば、遺伝子発現データにおいて、特定の代謝経路に関連する遺伝子群だけが負荷を持つ主成分は、その代謝活動を反映していると解釈できる。この特性は、探索的データ解析における仮説生成や結果の報告を容易にする。
4.2 分散説明率とのトレードオフ
スパース制約を課すことで、通常のPCAと比較して説明される分散量は減少する傾向がある。これは、負荷をゼロにすることでデータの情報を一部捨てることによる。しかし、実用上は解釈性の向上や過学習の抑制がこのトレードオフを補って余りある場合が多い。正則化パラメータの調整により、説明率とスパース性のバランスを制御できる。
4.3 変数選択の一致性
適切な正則化パラメータの下では、スパースPCAは真に重要な変数を漸近的に選択する一致性（variable selection consistency）を持つことが理論的に示されている。これは、サンプルサイズが十分大きい場合に、ノイズ変数を正しく除外し、シグナル変数を保持する性質である。ただし、パラメータの選択には情報量規準や交差検証などが用いられる。
5.1 遺伝子発現データ解析
数千から数万の遺伝子発現量を測定したデータにおいて、スパースPCAは疾患に関連する少数の遺伝子群を特定するために用いられる。例えば、癌のサブタイプ分類において、各主成分が特定の生物学的パスウェイに対応するスパースな負荷を持つことで、疾患メカニズムの理解が進む。
5.2 画像処理（顔認識・ノイズ除去）
顔画像のデータセットでは、スパースPCAにより各主成分が目の周りや口元など、顔の特定部位に集中したスパースなパターンを示す。これにより、個々の特徴を明確に捉えられる。また、画像ノイズ除去では、スパースな表現がノイズ成分を効果的に分離し、復元品質を向上させる。
5.3 金融データ（ポートフォリオ最適化）
金融市場の多数の資産リターンデータに対してスパースPCAを適用すると、少数の資産のみで構成される主成分ポートフォリオが得られる。これにより、解釈可能なリスク因子を抽出し、ポートフォリオの分散化やヘッジ戦略の立案に役立てる。また、過学習を抑制することで、将来のリターン予測の安定性が向上する。
6.1 Rパッケージ（sparsepca, elasticnet）
R言語では、sparsepcaパッケージが交互最適化法を実装しており、簡単なインターフェースでスパースPCAを実行できる。elasticnetパッケージはZouらのSPCAアルゴリズムを提供し、エラスティックネット正則化を利用する。両者とも、正則化パラメータの指定や交差検証が可能である。
6.2 Pythonライブラリ（scikit-learn, sparsica）
Pythonでは、scikit-learnのSparsePCAクラスが標準的な実装を提供しており、L1正則化を用いたスパースPCAを簡単に利用できる。sparsicaライブラリは、より高度なバリエーション（グループスパースやロバスト版）を含む。また、sklearn.decomposition.PCAにはスパース版はないが、カスタム実装や他のライブラリとの連携が可能である。
7.1 グループスパースPCA
変数が事前にグループに分けられている場合（例えば、同じ遺伝子パスウェイに属する遺伝子群）、グループごとにスパース性を課す手法である。グループラッソ正則化を用いることで、グループ単位での変数選択が可能になり、構造的な解釈がさらに容易になる。
7.2 ロバストスパースPCA
データに外れ値や異常値が含まれる場合に頑健な手法。通常のフロベニウスノルムの代わりにL1ノルムなどを使い、外れ値の影響を抑える。これにより、少数の重要変数を安定して抽出できる。
7.3 カーネルスパースPCA
非線形構造を捉えるために、カーネル法を導入したスパースPCA。高次元特徴空間でスパースな主成分を求めることで、線形分離不可能なデータにも対応する。カーネル関数の選択により、様々な非線形関係をモデル化できる。
- Zou, H., Hastie, T., & Tibshirani, R. (2006). Sparse principal component analysis. *Journal of Computational and Graphical Statistics*, 15(2), 265-286.
- Witten, D. M., Tibshirani, R., & Hastie, T. (2009). A penalized matrix decomposition, with applications to sparse principal components and canonical correlation analysis. *Biostatistics*, 10(3), 515-534.
- Journée, M., Nesterov, Y., Richtárik, P., & Sepulchre, R. (2010). Generalized power method for sparse principal component analysis. *Journal of Machine Learning Research*, 11, 517-553.
- d'Aspremont, A., El Ghaoui, L., Jordan, M. I., & Lanckriet, G. R. G. (2007). A direct formulation for sparse PCA using semidefinite programming. *SIAM Review*, 49(3), 434-448.
- Shen, H., & Huang, J. Z. (2008). Sparse principal component analysis via regularized low rank matrix approximation. *Journal of Multivariate Analysis*, 99(6), 1015-1034.