L1正則化（Lasso正則化）は、機械学習や統計学において過学習を防ぎモデルの一般化性能を向上させるための手法の一つである。損失関数にモデルのパラメータの絶対値の和（L1ノルム）をペナルティ項として加えることで、スパース（疎）な解を誘導し、特徴量選択の効果をもたらす。線形回帰（Lasso回帰）、ロジスティック回帰、ニューラルネットワークなど幅広いモデルに適用され、解釈性の高いモデル構築に寄与する。

1.1 損失関数の一般形

正則化項を加えた損失関数は、通常の損失関数（平均二乗誤差や交差エントロピーなど）にペナルティ項を加算した形で表される。一般形を \( J(\boldsymbol{\theta}) = L(\boldsymbol{\theta}) + \lambda R(\boldsymbol{\theta}) \) と書く。ここで \(\lambda \geq 0\) は正則化パラメータ、\( R(\boldsymbol{\theta}) \) は正則化項である。

1.1.1 L1ペナルティ項の表現

L1正則化ではペナルティ項が \( R(\boldsymbol{\theta}) = \|\boldsymbol{\theta}\|_1 = \sum_{j=1}^{p}\theta_j\) と定義される。この項を加えることで、損失関数の最小化時にパラメータの絶対値が小さくなるよう制約がかかる。

1.2 L2正則化との違い

L2正則化ではペナルティ項が \(\|\boldsymbol{\theta}\|_2^2 = \sum \theta_j^2\) となり、パラメータを均等に縮小するのに対し、L1正則化は一部のパラメータを厳密にゼロにする性質を持つ。この結果、L1正則化はスパースな解を生成しやすい。幾何学的には、L1の制約領域がひし形（L1球）であるため、損失関数の等高線と角で交差しやすく、ゼロ係数が生じる。

2.1 座標降下法

座標降下法は、一度に一つのパラメータのみを更新し、他のパラメータを固定して最適化を繰り返す手法である。Lasso問題では各パラメータの更新式が閉形式で得られるため、効率的な実装が可能である。

2.1.1 ソフトしきい値処理

座標降下法の更新式中で現れる操作がソフトしきい値処理である。ある変数の勾配情報をもとに、その値をゼロ方向に縮小し、しきい値以下の場合は正確にゼロにする。式で表すと \( \hat{\theta}_j = \text{sign}(z)(z- \lambda)_{+} \) となる。ここで \(z\) は単変量の最小二乗推定量に相当する値である。

2.2 近接勾配法

近接勾配法は、微分可能な損失関数と非微分可能なL1正則化項を合成した目的関数に対して有効な最適化手法である。勾配降下ステップの後、近接写像を適用することで正則化項の効果を反映する。

2.2.1 近接写像の役割

L1ノルムに対する近接写像はソフトしきい値処理と一致する。勾配降下で得られた暫定解に対し、近接写像を作用させることで各パラメータを適切に縮小し、スパース性を実現する。この枠組みは加速勾配法（FISTAなど）と組み合わせて高速化できる。

3.1 スパース性と変数選択

L1正則化の最大の特徴は解がスパースになることである。最適解において多くのパラメータが正確にゼロとなるため、実質的に関連する特徴量のみがモデルに残る。これにより自動的な変数選択が行われ、解釈性が向上する。

3.2 バイアスと分散のトレードオフ

正則化を強める（\(\lambda\) を大きくする）と推定値のバイアスが増加する一方、分散は減少する。L1正則化はL2正則化よりもバイアスが大きくなる傾向があるが、スパース性によるモデル単純化によって全体的な予測誤差が改善される場合がある。適切な \(\lambda\) の選択が重要である。

3.3 オラクル特性の限界

Lassoは特定の条件下でオラクル特性（真のモデルが既知であるかのような推定効率）を持つことが知られているが、その成立には強い仮定（近似的な無相関性など）が必要である。また、相関の高い変数が複数存在する場合、Lassoはそのうちの一部しか選択しない傾向があり、オラクル特性が達成されないことが多い。

4.1 高次元データ解析

観測数よりも変数数の多い高次元データ（例：ゲノムデータ、文書分類のBag-of-Words）では、通常の最小二乗法が機能しない。Lassoはスパース性により本質的な変数のみを抽出し、過学習を防ぎながら予測モデルを構築できる。

4.2 画像処理における特徴抽出

画像の圧縮センシングや超解像において、L1正則化はスパース表現を誘導する。画像パッチを辞書に基づいてスパースに表現することで、ノイズ除去や再構成に利用される。また、深層学習のフィルタ正則化にも応用される。

4.3 バイオインフォマティクス

遺伝子発現データやSNPデータなど、多数のバイオマーカーから疾患関連遺伝子を特定する問題でLassoが多用される。数千～数万の特徴量から少数の重要な因子を選び出す変数選択能力が、生物学的解釈を容易にする。

5.1 エラスティックネット（Elastic Net）

エラスティックネットはL1正則化とL2正則化を線形結合したペナルティ \( \lambda_1 \|\boldsymbol{\theta}\|_1 + \lambda_2 \|\boldsymbol{\theta}\|_2^2 \) を用いる。L1によるスパース性を保ちつつ、L2による変数グループ効果（相関の高い変数を同時に選択する効果）を導入する。高次元で変数間に強い相関がある場合に有効である。

5.2 グループLasso

グループLassoは、あらかじめ変数をグループに分割し、グループ単位でL2ノルムの和にL1ノルムを課すペナルティを用いる。各グループ内の変数は同時に選択または除外される。カテゴリカル変数のダミー変数群や、多項式特徴量のセットなどに適用される。

5.3 適応型Lasso

適応型Lassoは、各パラメータに異なる重みを付けたL1ペナルティ \( \sum w_j\theta_j\) を用いる。重みは事前推定（例えば最小二乗推定量）の逆数などで設定する。これにより、重要な変数に小さなペナルティ、重要でない変数に大きなペナルティを与え、オラクル特性を改善する。

6.1 正則化パラメータの選択

正則化パラメータ \(\lambda\) はモデルの複雑さを制御する。適切な値を選択しないと、過小正則化（過学習）または過大正則化（未学習）を引き起こす。

6.1.1 交差検証によるチューニング

一般的な方法はk分割交差検証である。複数の \(\lambda\) の候補に対して交差検証誤差を計算し、誤差が最小となる値、または1標準誤差ルールに従って最も簡潔なモデルを与える値を選択する。scikit-learnなどのライブラリには自動実装がある。

6.2 スケーリングの重要性

L1正則化のペナルティ項は各パラメータの絶対値に基づくため、特徴量のスケールに敏感である。異なる単位やオーダーの変数が混在する場合、正則化の影響が不均一になる。そのためすべての特徴量を事前に標準化（平均0、分散1）することが強く推奨される。

6.3 数値的な安定性

座標降下法や近接勾配法の収束は一般的に安定しているが、非常に強い正則化（\(\lambda\) が大きい）や特徴量間に多重共線性がある場合、解の振動や収束の遅延が生じることがある。また、スパース性によりゼロ係数が多数発生すると、計算上は数値的に零とみなす処理が必要である。実装では収束判定の許容誤差や最大反復回数を適切に設定する。