ラッソ回帰

1 ラッソ回帰の概要

1.1 定義と基本式

1.1.1 目的関数（損失関数と罰則項）

ラッソ回帰は、線形回帰の学習に損失関数と罰則項を同時に最小化する枠組みを導入する。回帰係数を \(w=(w_1,\dots,w_p)\)、観測を \((x_i,y_i)\) とし、例えば二乗損失を用いると、学習は次の最小化問題として表される。 \[

\min_{w}\ \frac{1}{n}\sum_{i=1}^{n}\bigl(y_i-x_i^\top w\bigr)^2+\lambda\|w\|_1

\]

ここで \(\|w\|_1=\sum_{j=1}^{p}	w_j	\) は係数の絶対値の和であり、\(\lambda\ge 0\) が罰則の強さを制御する。罰則項は係数の大きさを抑える役割を持ち、モデルの単純化を促す。

1.1.2 係数の縮小とスパース性

罰則強度 \(\lambda\) を増やすほど、係数の絶対値はより強く抑圧される。その結果、条件によっては一部の係数がちょうど 0 となり、モデルに含まれる説明変数が削減される。この性質は「スパース性」と呼ばれ、単なる係数の縮小にとどまらず、変数選択に近い効果をもたらす点が特徴である。 実務上、係数が 0 の変数は予測に寄与しないと解釈できるため、モデルの見通しが改善する場合がある。

1.2 リッジ回帰との関係

1.2.1 罰則の違い（絶対値と二乗）

リッジ回帰は二乗損失に二乗ノルム \(\|w\|_2^2=\sum_{j=1}^{p}w_j^2\) の罰則を加える手法である。ラッソは \(\|w\|_1\)（絶対値の和）を用い、リッジは \(\|w\|_2^2\)（二乗の和）を用いる。この違いは、最適化における幾何学的な形（制約領域の形状）に反映され、係数が 0 になるかどうか、抑え方がどうなるかに影響する。

1.2.2 期待される挙動の比較

直感的には、ラッソは罰則の影響で解が「角（境界の尖り）」に引き寄せられることがあり、そこで係数が 0 になりやすい。一方、リッジは罰則がなめらかで連続的に効きやすく、係数が一斉に 0 になる挙動は起こりにくいとされる。 そのため、ラッソは「少数の変数だけを残す」方向に働きやすく、リッジは「多くの変数を残したまま係数を小さくする」方向に寄りやすい。

1.3 変数選択としてのラッソ

1.3.1 係数ゼロによる選別

ラッソの学習結果から、係数が 0 の変数は選別されているとみなせる。これは、モデルが過剰に複雑にならないようにする正則化の帰結として理解できる。 ただし、係数が 0 になるか否かはデータと \(\lambda\) に依存するため、変数選択を行う目的では、選択の再現性（後述）を確認することが実務上重要になる。

1.3.2 解釈可能性と実務的利点

係数が少数に絞られると、予測に寄与する要因を説明しやすくなる。たとえば特徴量が多い領域では、全てを同時に解釈することが困難であるため、モデルの単純化は分析の作業量を減らす。さらに、意思決定に用いる場合も、寄与が小さい変数を除外することで議論の焦点が定まりやすい。 一方で、解釈可能性は「係数が 0 かどうか」だけで自動的に担保されるわけではなく、変数間の関係（相関や多重共線性）によって選択結果が揺れることがある点には注意が必要である。

2 数理的背景

2.1 正則化の役割

2.1.1 バイアスと分散のトレードオフ

2.1.1.1 罰則強度による影響

正則化は、学習誤差への適合度を一部犠牲にしてモデルの複雑さを抑えることで、汎化の改善を狙う。ラッソでは \(\lambda\) が増えるにつれて係数が強く制限されるため、学習データへの当てはまりは弱まる（バイアスが増える）傾向がある。その代わり、推定の揺らぎは減少し、分散を抑えやすくなる。 このトレードオフは、特に特徴量数が多い状況で過学習が起こりやすいときに意味を持つ。最適な \(\lambda\) はデータの性質に依存するため、後述の手順として検証により選ぶ必要がある。

2.2 最適化問題としての定式化

2.2.1 一変数ごとの更新可能性

ラッソは目的関数が凸であることから、座標（係数）を一つずつ固定して更新する方式と相性がよい。具体的には、他の係数を一定とみなしたとき、注目する係数 \(w_j\) については損失部分が二次形式で、罰則部分が絶対値により区分的に扱える。 そのため、座標降下法などのアルゴリズムで反復的に更新でき、実装上は実用的な計算手順になる。

2.2.2 サブグラディエントと非微分性

\(\|w\|_1\) は \(w_j=0\) で微分可能でない。通常の勾配が定義できない点は、最適性条件を「サブグラディエント」により扱うことで克服される。

この仕組みにより、係数が 0 に落ちる条件が明確になり、最適解が境界上の点として現れることがある。結果として、絶対値罰則特有のスパース性が数学的に裏付けられる。

2.3 解の性質

2.3.1 変数が相関する場合の挙動

説明変数が強く相関していると、情報が冗長になり、どの変数を使うべきかが曖昧になりやすい。ラッソでは罰則のために「どちらか一方（または少数）」へ係数が振り分けられるような挙動が起こることがある。 このとき、わずかなデータの違いで選ばれる変数が入れ替わる場合があり、係数の解釈は慎重であるべきである。

2.3.2 解の一意性と条件

凸最適化としてはラッソの問題が解を持ち得る一方、解の一意性はデータ行列の条件や相関構造に左右される。特定の状況では、最適解が複数存在し得るため、アルゴリズムの実装や数値誤差により得られる係数の組が変わることがある。 一意性が崩れると、変数選択の結果が不安定になりやすい。したがって、同じ手法でも再学習を行ったときの揺らぎを確認することが、実務の品質管理に結び付く。

3 学習手順と実装の要点

3.1 前処理

3.1.1 標準化（スケーリング）の重要性

ラッソでは絶対値の罰則が係数に直接かかるため、説明変数のスケールが異なると、罰則の効き方が不公平になる。例えばある変数が大きい単位で表されていると、相対的に係数の大きさが抑えられやすくなり、選択の結果に影響が出る。 このため通常は各特徴量を標準化し、同程度の分散・尺度で学習させる。標準化は、係数の比較可能性と変数選択の妥当性に直結する。

3.1.2 欠測や外れ値への配慮

欠測値がある場合、モデルに投入する前に補完や除外の方針を決める必要がある。ラッソは線形モデルであるため、補完方法の選択が学習結果に影響する。外れ値についても同様で、二乗損失は外れ値に敏感になり得る。 外れ値の影響が大きいときは、前処理としてロバストな扱い（変換、外れ値検出、損失関数の見直し等）を検討することがある。

3.2 正則化係数の選び方

3.2.1 交差検証（検証用データ分割）

\(\lambda\) は固定値ではなく、検証によって選ぶことが多い。交差検証ではデータを複数の分割に分け、ある分割で学習し別の分割で性能を測る。このプロセスを繰り返し、平均的な汎化性能が良い \(\lambda\) を採用する。 ラッソは \(\lambda\) の変化で係数が大きく変わることがあるため、単一の分割だけに依存しない設計が望ましい。

3.2.2 情報基準や規準の考え方

交差検証以外にも、情報量基準を用いて正則化を選ぶ考え方がある。損失とモデルの複雑さ（有効な自由度に関連する量）を同時に考慮し、過度な複雑化を抑える。 どの規準が適切かは目的やデータの規模に依存し、計算コストや推定の安定性とのバランスで選択される。

3.3 最適化アルゴリズム

3.3.1 座標降下法

座標降下法は、各反復で係数を一つずつ更新することで目的関数を改善する。ラッソでは絶対値罰則の扱いが設計に組み込まれるため、実装上は効率的な計算になりやすい。 反復回数は収束条件に依存し、許容誤差（目的関数の変化や係数の変化の大きさ）を設定することで実用的な計算時間に収める。

3.3.2 ソフト閾値と閾値操作

ラッソの座標更新には「ソフト閾値」操作に類する形が現れる。直感的には、罰則の効果により小さな係数候補は 0 に近づけられ、ある程度以上の大きさがある場合だけ残るような挙動が組み込まれる。 この操作は、絶対値罰則の非微分性と整合しており、係数がちょうど 0 になるメカニズムを計算手順として反映する。

3.3.3 計算効率と収束の見通し

凸最適化としての性質から、適切な更新規則では目的関数が単調に改善する傾向が期待される。とはいえ、特徴量数や相関の強さ、実装の詳細によって収束速度は変わる。 大規模問題では疎な解（多数の係数が 0）を活かした実装も有効であり、計算資源の制約がある場合はその点を考慮することが多い。

4 評価と応用

4.1 性能評価

4.1.1 回帰指標（平均二乗誤差など）

ラッソの性能は回帰指標で評価する。代表例として平均二乗誤差（MSE）や平均絶対誤差（MAE）が用いられる。MSEは大きな誤差に強く反応するため外れ値の影響を反映しやすい。 どの指標を採用するかは損失に対する整合性や目的に依存し、予測誤差の性質を踏まえて選ぶ必要がある。

4.1.2 汎化性能の確認

学習データで良好でも、新規データで性能が維持されるとは限らない。交差検証や独立テストデータによって汎化性能を確認することで、過学習の程度を相対的に把握できる。 ラッソは正則化によって過学習を抑える方向に働くが、\(\lambda\) の選び方が不適切だと汎化性能は落ち得るため、検証設計が重要になる。

4.2 選択された変数の解釈

4.2.1 係数の向きと大きさ

残った係数は、目的変数に対する線形寄与の符号と相対的な強さを示す。標準化している場合は解釈が比較しやすくなり、正の係数は増加方向に、負の係数は減少方向に関連すると理解できる。 ただし、線形性の仮定や他の特徴量との同時効果が存在するため、単独の因果解釈に直結しない点は留意が必要である。

4.2.2 安定性の確認（再学習による揺らぎ）

係数が少数に絞られる性質は便利である一方、データがわずかに変わると選ばれる変数が変わり得る。そこで、ブートストラップや複数回の再学習によって、同じ変数が選択される頻度を確認することがある。 安定性が低い場合、モデルの解釈は「状況依存」として捉える方が安全である。

4.3 応用領域の例

4.3.1 金融・需要予測

需要予測では多数の説明変数（過去の時系列指標、曜日・季節性、イベント、価格関連の特徴など）を用いることが多い。ラッソは変数数が多い状況でモデルを簡潔にし、重要度の高い要素を絞る目的で利用される。 ただし、時期や市場環境が変化するため、安定性評価と更新戦略が実務上の焦点になる。

4.3.2 医療統計・バイオデータ

遺伝子発現やオミクスデータのように特徴量が非常に多い場面では、スパースなモデルが有利になることがある。ラッソは少数の特徴量で予測を行う枠組みを与え、探索的な解析にも使われる。 一方で、測定誤差や交絡の影響が存在し得るため、前処理と検証設計が結果の信頼性を左右する。

4.3.3 テキストや特徴量が多い問題

テキスト処理では単語頻度や埋め込みに基づく特徴量が膨大になり得る。ラッソは高次元の分類・回帰での基礎モデルとして応用され、不要な特徴を抑制することでモデルの扱いやすさを高める。 特徴量の生成法（形態素の単位、正規化、次元圧縮の有無）と組み合わせて設計されることが多い。

4.4 よくある落とし穴

4.4.1 変数のスケール未調整

標準化を行わないと、罰則の効き方が特徴量の単位に左右される。結果として、尺度の大きい変数ほど選択されにくくなるなど、意図しない判断が発生し得る。 この問題は「最適化が壊れる」というより「正しい比較ができない」ことに起因するため、前処理の点検が重要となる。

4.4.2 過度な信頼（選択バイアス）

ラッソは変数選択を伴うため、選ばれた変数に関する推定が楽観的になり得ることがある。検証データで性能を測っても、選ばれた変数の統計的性質をそのまま解釈するのは危険である。 探索的用途と、推定・推論用途を分けて考える姿勢が求められる。

4.4.3 強い相関時の解釈困難

強い相関がある場合、ラッソはどの変数を残すかが揺れやすい。見かけ上は少数変数に絞られても、それが真の因果構造を反映しているとは限らない。 相関構造を理解したうえで、安定性評価や別手法（例えば組合せ正則化）との比較を行うことで解釈の質を高められる場合がある。