1.1 スパース性の数学的定義
| スパース性とは、ベクトルや行列の成分の大部分がゼロである性質を指す。数学的には、ベクトル \(\mathbf{x} \in \mathbb{R}^p\) のスパース性は非ゼロ成分の個数 \(\|\mathbf{x}\|_0 = | \{i : x_i \neq 0\} | \) で測られる。この値が \(p\) に比べて小さいとき、\(\mathbf{x}\) はスパースであるという。スパース性の度合いは、非ゼロ成分の数が \(p\) に対して対数的に小さい場合や、ある閾値以下である場合に注目される。 |
|---|
1.2 スパース成分が発生する状況
1.2.1 高次元データにおける自然なスパース性
高次元データ（\(p \gg n\)）では、多くの変数が目的変数に対して無関係であることが多く、自然にスパースな構造が現れる。例えば、遺伝子発現データにおいて、特定の疾患に関連する遺伝子は少数である。このような状況では、データの背後にある真の信号がスパースであると仮定することが合理的である。
1.2.2 変換後のスパース表現（例：ウェーブレット、フーリエ）
多くの自然信号や画像は、適切な基底（ウェーブレット、フーリエ、離散コサイン変換など）で表現するとスパースになる。例えば、自然画像はウェーブレット変換により、少数の大きな係数と多数の小さな係数に分解される。この性質は、圧縮センシングや画像圧縮の基盤となる。
1.3 スパース成分とノルムの関係
1.3.1 ℓ0ノルムとℓ1ノルム
| ℓ0ノルムは非ゼロ成分の個数であり、スパース性を直接測るが、非凸で不連続なため最適化が困難である。ℓ1ノルム \(\|\mathbf{x}\|_1 = \sum_i | x_i | \) は凸であり、ℓ0ノルムの凸緩和として広く用いられる。ℓ1ノルムを最小化すると解がスパースになりやすい性質（ℓ1正則化）は、ラッソ回帰などの基礎となっている。 |
|---|
1.3.2 凸緩和とスパース性の促進
ℓ0ノルムの代わりにℓ1ノルムを用いることで、凸最適化問題として扱えるようになる。ℓ1ノルムは原点で微分不可能なため、解の一部の成分が正確にゼロに押し込まれる。この性質はスパース性を促進する。他にも、ℓ0ノルムの非凸緩和としてℓpノルム（\(0 < p < 1\)）が用いられることもあるが、大域的最適解の保証が難しくなる。
2.1 正則化によるスパース推定
2.1.1 ラッソ（Lasso）回帰
| ラッソ回帰は、線形回帰モデルにℓ1正則化項を加えた手法である。目的関数は \(\min_{\boldsymbol{\beta}} \frac{1}{2n}\|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|_2^2 + \lambda\|\boldsymbol{\beta}\|_1\) で与えられる。正則化パラメータ \(\lambda\) を調整することで、多くの係数がゼロになるスパースな解が得られる。これにより、変数選択と回帰の同時実行が可能となる。 |
|---|
2.1.2 エラスティックネット（Elastic Net）
| エラスティックネットはラッソ回帰にℓ2正則化項を加えたもので、目的関数は \(\min_{\boldsymbol{\beta}} \frac{1}{2n}\|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|_2^2 + \lambda_1\|\boldsymbol{\beta}\|_1 + \lambda_2\|\boldsymbol{\beta}\|_2^2\) である。相関の高い変数群をまとめて選択する性質を持ち、ラッソが苦手とするグループ選択の問題に対処する。また、\(p > n\) の場合でも安定した解が得られる。 |
|---|
2.2 最適化アルゴリズム
2.2.1 近接勾配法（ISTA、FISTA）
近接勾配法は、ℓ1正則化のような非平滑な項を含む損失関数の最小化に用いられる。ISTA（Iterative Shrinkage-Thresholding Algorithm）は、勾配降下の各ステップで軟しきい値処理（ソフトしきい値）を適用する。FISTA（Fast ISTA）は、ネステロフの加速法を導入して収束速度を改善し、\(O(1/k^2)\) の収束率を達成する。
2.2.2 交互方向乗数法（ADMM）
ADMMは、分離可能な凸最適化問題を解くためのアルゴリズムである。スパース推定では、例えば \(\min_{\boldsymbol{\beta}} f(\boldsymbol{\beta}) + g(\boldsymbol{\beta})\) の形で、\(g\) をℓ1ノルムとする問題に適用される。変数を分割し、交互に更新することで効率的に解を求める。特に大規模データに対してスケーラブルである。
2.3 ベイズ的アプローチ
2.3.1 スパース事前分布（ラプラス分布、馬蹄分布）
ベイズ統計では、回帰係数にスパース性を促す事前分布を設定する。ラプラス分布（両側指数分布）はℓ1正則化と対応し、馬蹄分布（Horseshoe prior）はより強い縮小効果を持ち、非ゼロ係数とゼロ係数を明確に分離する。これらの事前分布は、事後分布を通じてスパースな推定を実現する。
2.3.2 変分ベイズ法
変分ベイズ法は、事後分布を近似する確率分布を求め、計算効率の良い推定を行う。スパースモデルでは、平均場近似を用いて各係数の事後分布を独立に扱う。EMアルゴリズムと組み合わせることで、大規模データでもスパースな解を高速に得られる。
3.1 信号処理と画像処理
3.1.1 圧縮センシング
圧縮センシングは、スパースな信号をナイキストレートよりも少ないサンプル数で復元する技術である。測定行列とスパース変換を利用し、ℓ1ノルム最小化によって元の信号を再構成する。医療画像（MRI）やレーダー、通信などで応用される。
3.1.2 画像のスパース表現と復元
画像はウェーブレットや辞書学習によりスパース表現できる。画像のノイズ除去、超解像、修復などの問題では、スパース性を利用した正則化が効果的である。例えば、画像のパッチをスパースに表現し、欠損部分を補完する。
3.2 機械学習と統計モデリング
3.2.1 特徴選択と次元削減
スパースモデルは、多数の特徴から重要な少数を自動選択する。ラッソ回帰やスパースロジスティック回帰は、高次元データにおける過学習を防ぎ、解釈性の高いモデルを提供する。遺伝子発現データやテキスト分類などで広く使われる。
3.2.2 スパース主成分分析（Sparse PCA）
スパースPCAは、主成分の負荷ベクトルに多数のゼロ成分を導入することで、解釈性を向上させる。通常のPCAでは全ての変数が関与するが、スパースPCAでは少数の変数だけが主成分を構成する。ℓ1正則化を用いて実現される。
3.3 生物情報学と遺伝学
3.3.1 遺伝子発現データのスパースモデル
遺伝子発現データは高次元（数万遺伝子）であり、疾患関連遺伝子は少数である。スパース回帰やスパース分類器を用いて、疾患のバイオマーカーを同定する。スパース性はモデルの解釈性と予測性能の両立に寄与する。
3.3.2 ネットワーク推定におけるスパース性
遺伝子制御ネットワークやタンパク質相互作用ネットワークの推定では、真のネットワークがスパースであると仮定する。グラフィカルラッソ（ℓ1正則化を用いたガウスグラフィカルモデル）により、疎な精密行列を推定し、ネットワーク構造を明らかにする。
4.1 スパース成分の一意性と識別可能性
4.1.1 制約付き最小二乗法とランク条件
スパース回帰において、真のパラメータが一意に識別されるためには、デザイン行列が特定の条件を満たす必要がある。例えば、制約付き最小二乗法では、サポート（非ゼロ成分の位置）が既知の場合、対応する部分行列がフルランクであることが一意性の十分条件となる。一般には、制限付き固有値条件などが必要となる。
4.1.2 不確定性原理とスパース性
信号処理における不確定性原理は、信号が時間領域と周波数領域の両方で同時にスパースになることはできないことを示す。スパース成分の復元問題では、この原理が解の一意性や復元可能性の限界を与える。圧縮センシングでは、測定行列が制限等長性（RIP）を満たすことで安定な復元が保証される。
4.2 漸近理論と一致性
4.2.1 スパース推定の一致性条件
スパース推定が真のパラメータに一致するためには、正則化パラメータの適切な減衰やデザイン行列の条件が必要である。例えば、ラッソ回帰においては、irrepresentable条件や制限付き固有値条件が仮定される。これらの条件下で、推定誤差がサンプルサイズの増加とともにゼロに収束する。
4.2.2 選択的不確定性と変数選択の整合性
変数選択の一致性（正しいサポートを確率1で選択すること）は、より強い条件を要する。例えば、ラッソが変数選択一致性を持つためには、非ゼロ係数が十分に大きく、かつデザイン行列が強いirrepresentable条件を満たす必要がある。現実のデータでは条件が満たされない場合も多く、選択的不確定性が生じる。この問題を緩和するために、Adaptive Lassoや緩和ラッソが提案されている。
4.3 計算複雑性と近似限界
スパース成分の推定問題は一般にNP困難であり（ℓ0正則化の場合）、ℓ1緩和によって多項式時間で解ける凸問題に置き換えられる。ただし、正確なスパース性の回復には、信号のスパース度や測定行列の性質に関する理論的限界が存在する。圧縮センシングでは、スパース度 \(k\) に対して \(O(k \log(p/k))\) 程度の測定数が必要であることが知られている。近似アルゴリズムの収束率や精度は、問題の構造に依存する。