スパースモデルは、機械学習や統計学において、多くのパラメータや特徴量がゼロとなる「スパース性（疎性）」を積極的に活用するモデルの総称である。この手法は、高次元データから本質的に重要な情報のみを抽出し、解釈性の高い予測モデルや表現を実現する。以下では、その基盤となる概念を詳述する。
1.1 スパース性の定義
スパース性とは、ベクトルや行列の要素の大部分がゼロである性質を指す。数学的には、非ゼロ要素の数が全体の次元に比べて極めて少ない状態を表す。この性質は、データの本質的な構造が少数の要因によって支配されているという仮定に基づく。
1.1.1 L0ノルムとL1ノルム
スパース性を定量化するために、L0ノルムとL1ノルムが用いられる。L0ノルムはベクトルの非ゼロ要素の個数を表し、スパース性の直接的な指標となるが、組み合わせ最適化問題を引き起こすため計算が困難である。一方、L1ノルムは絶対値の和として定義され、凸最適化によって扱いやすく、多くの場合L0ノルムの緩和として機能する。L1正則化は、スパース解を誘導する代表的な手法である。
1.2 パラメータの節約と解釈性
スパースモデルでは、多くのパラメータがゼロに推定されるため、モデル全体の有効パラメータ数が減少する。これにより、計算リソースやメモリの節約が可能となる。また、少数の非ゼロパラメータのみが目的変数に寄与するため、モデルの解釈性が大幅に向上する。例えば、どの特徴量が予測に重要かが明確になり、ドメイン知識に基づく検証や意思決定に役立つ。
1.3 過学習の抑制効果
高次元データでは、サンプル数に対して特徴量数が過剰である場合、通常の最小二乗法などは過学習を起こしやすい。スパース正則化を導入することで、不要な特徴量の係数をゼロに縮小し、モデルの複雑さを抑制する。これにより、訓練データへの過度な適合を防ぎ、未知データに対する汎化性能が向上する。この効果は、正則化パラメータの調整によってバランスを取ることが重要である。
スパース性を活用する代表的なモデルと手法を以下にまとめる。これらは回帰、表現学習、ニューラルネットワーク、ベイズ推定など多岐にわたる。
2.1 スパース回帰
スパース回帰は、線形回帰モデルに正則化項を加えることで、多くの係数をゼロに推定する手法である。これにより、特徴選択と予測を同時に行う。
2.1.1 LASSO（Least Absolute Shrinkage and Selection Operator）
LASSOは、L1正則化を用いた線形回帰の一種である。目的関数は、二乗損失にL1ノルムのペナルティを加えたものである。この正則化により、一部の係数が厳密にゼロになる性質があり、自動的な変数選択が行われる。LASSOは、高次元データにおける標準的な手法として広く使われる。
2.1.2 リッジ回帰とElastic Net
リッジ回帰はL2正則化を用いる手法で、係数をゼロにはしないが均等に縮小する。Elastic Netは、L1とL2の両方の正則化を組み合わせた手法であり、LASSOの変数選択性とリッジ回帰のグループ効果（相関の高い変数群を同時に選択する性質）を併せ持つ。Elastic Netは、変数間の相関が高い場合に特に有効である。
2.2 スパース表現
スパース表現は、データを少数の基底ベクトルの線形結合で近似する手法である。信号や画像などの高次元データを効率的に表現する。
2.2.1 辞書学習（Dictionary Learning）
辞書学習は、データを表現するための基底集合（辞書）をデータから学習する手法である。各データ点は、辞書の要素のスパースな線形結合として表される。この学習過程では、再構成誤差とスパース性のバランスを最適化する。応用として、画像のノイズ除去や超解像などがある。
2.2.2 スパースコーディング
スパースコーディングは、与えられた辞書に対して、入力信号をスパースな係数ベクトルで表現する過程である。辞書学習と組み合わせて用いられることが多い。係数のスパース性を保ちつつ、信号を近似する係数を求める。
2.2.2.1 追跡アルゴリズム（Matching Pursuit）
追跡アルゴリズムは、スパースコーディングを求解するための貪欲法の一種である。逐次的に辞書から最も相関の高い原子を選択し、残差を更新することでスパース表現を得る。直交マッチング追跡（OMP）や段階的直交マッチング追跡（StOMP）などの改良版も存在する。
2.3 スパースオートエンコーダ
スパースオートエンコーダは、オートエンコーダの潜在表現にスパース性の制約を導入したニューラルネットワークである。エンコーダで入力データを低次元の潜在変数に変換し、デコーダで再構成する際に、潜在変数の大部分がゼロになるように学習する。これにより、ノイズに対して頑健な特徴抽出が可能となり、教師なし学習における表現学習の強力なツールとなる。
2.4 スパースベイズモデル
スパースベイズモデルは、ベイズ統計の枠組みでスパース性を導入する手法である。事前分布として、スパース性を促進する分布（例えばラプラス分布やスパイク・スラブ分布）を仮定し、事後分布を推定する。代表的なものに自動関連決定（ARD）がある。このアプローチは、不確実性の定量化が可能であり、パラメータの重要性を確率的に評価できる利点がある。
スパースモデルは、多くの実世界の応用で成功を収めている。以下に主要な分野と具体的な事例を挙げる。
3.1 画像処理
画像データは高次元であり、かつ多くの場合スパース表現が自然に成り立つ。例えば、自然画像はウェーブレット変換などによりスパース表現可能である。
3.1.1 画像圧縮とノイズ除去
画像圧縮では、スパース表現を利用して重要な係数のみを保存することで、データ量を削減する。JPEG2000などはウェーブレット変換に基づく。ノイズ除去では、ノイズ成分はランダムでスパースではないため、スパース正則化により信号部分だけを抽出できる。辞書学習に基づくノイズ除去法（K-SVDなど）が代表的である。
3.2 音声認識
音声信号は、短時間フーリエ変換などの時間周波数表現においてスパース性を示す。スパースモデルは、音声の雑音除去や音源分離に用いられる。また、特徴抽出段階でスパースな表現を利用することで、認識精度の向上が図られる。例えば、スパースオートエンコーダにより学習された特徴が音声認識タスクで有効である。
3.3 自然言語処理
テキストデータでは、文書が多数の単語から構成されるが、各文書に出現する単語は限定的であるため、bag-of-words表現は本質的にスパースである。スパースモデルは、この構造を利用して効率的な解析を行う。
3.3.1 トピックモデルと特徴抽出
トピックモデル（LDAなど）では、各文書が少数のトピックから生成されると仮定する。スパース性は、各文書が関連する少数のトピックのみを持つことを意味する。また、スパースな特徴抽出として、L1正則化を用いたテキスト分類や、スパース符号化による単語埋め込みの学習が行われる。
3.4 信号処理
信号処理分野では、スパース性を利用した信号の取得と再構成が重要なテーマである。
3.4.1 圧縮センシング
圧縮センシングは、信号がスパースである場合に、ナイキストレート以下の少数の観測から元の信号を復元する技術である。観測行列とスパース性を利用した最適化（L1最小化など）により、従来のサンプリング理論を打破する。医療画像（MRIの高速化）、レーダー、地震探査などで応用される。
3.5 ゲノミクスとバイオインフォマティクス
ゲノムデータは、数万の遺伝子と少数のサンプルという高次元問題が典型的である。スパース回帰モデルは、疾患関連遺伝子の特定や発現データの解析に用いられる。LASSOやElastic Netによる遺伝子選択が行われ、スパースなバイオマーカーの同定に貢献する。また、スパースオートエンコーダによる遺伝子発現の潜在表現学習も研究されている。
スパースモデルには多くの利点がある一方、いくつかの課題も存在する。
4.1 利点
4.1.1 効率的なストレージと計算
スパースモデルは、ゼロ要素が多いため、メモリ使用量を削減できる。特に大規模なデータや高次元のパラメータを扱う場合、スパース性を利用したデータ構造（スパース行列など）により、計算コストも大幅に低減できる。
4.1.2 高い解釈性
モデルのパラメータの大部分がゼロであるため、非ゼロのパラメータに注目することで、どの特徴量が結果に寄与しているかが容易に理解できる。これは、医療診断や社会科学など、説明責任が求められる分野で特に重要である。
4.2 課題
4.2.1 最適化の困難さ
L0ノルムを用いた直接的な最適化はNP困難であるため、L1ノルムなどの緩和手法が用いられる。しかし、L1正則化でも最適化が収束しにくい場合や、大規模データに対して計算時間がかかる問題がある。また、非凸な目的関数（例えばスパースオートエンコーダの学習）では、局所解に陥りやすい。
4.2.2 スパース性のチューニング
スパース性の程度を制御する正則化パラメータは、交差検証などで適切に選択する必要がある。過度に強い正則化は情報損失を招き、弱すぎるとスパース性が得られない。パラメータ調整には計算コストがかかり、ドメイン知識に依存する場合もある。
スパースモデルは、近年の大規模データや深層学習の発展とともに進化を続けている。
5.1 大規模データへの拡張
ビッグデータ時代において、スパースモデルは分散並列処理やオンライン学習アルゴリズムと組み合わせてスケーラビリティが向上している。確率的勾配降下法を用いたL1正則化の高速解法や、近接勾配法による大規模最適化が実用化されている。また、SparkやGPUを活用した実装により、テラバイト規模のデータにも対応可能となっている。
5.2 深層学習との融合
深層ニューラルネットワークにスパース性を導入することで、モデルの軽量化や解釈性向上が図られている。
5.2.1 スパースニューラルネットワーク
スパースニューラルネットワークは、重みやニューロンの接続をスパースにすることで、計算量とメモリを削減する。プルーニング（枝刈り）やL1正則化を用いた訓練、あるいはスパースな初期構造の設計（Lottery Ticket仮説など）が研究されている。これにより、エッジデバイスやモバイル環境での推論が可能になる。
5.3 量子化と軽量化技術
スパース性と量子化（数値のビット幅削減）を組み合わせることで、モデルのさらなる圧縮が進められている。スパース行列の非ゼロ要素のみを低精度で保存することで、ストレージと計算の両面で効率化が達成される。また、知識蒸留や構造化プルーニングとの連携により、実用的な軽量モデルの開発が進んでいる。これらは、IoTや組込みシステムへの応用を促進する。