1 線形回帰の概要
線形回帰は、目的となる量を説明変数の一次結合で近似し、観測データに最も整合する係数を統計的に求める方法である。回帰線は、誤差を含むモデルとして表され、推定は「モデルの予測誤差が小さくなるように係数を調整する」問題として定式化される。
実務では、係数の大きさや符号により変数間の関係を解釈できる点が重視される。その一方で、データの構造や前提が適合しないと推定や予測の信頼性が損なわれるため、診断と評価をセットで行うことが求められる。
1.1 目的変数と説明変数
目的変数は、予測や説明の対象となる従属的な量である。たとえば売上、身長、測定誤差など、観測された数値が該当する。
説明変数は、目的変数に影響すると考える独立的な要因であり、候補となる特徴量としてデータに含める。説明変数の選び方は結果の性質を大きく左右し、尺度の違い、外れ値の存在、観測方式の偏りなどがモデル性能に影響する。
また、説明変数がカテゴリ（例：性別、地域）を含む場合は、数値化のための符号化（ダミー変数化など）を行うことが多い。目的変数と説明変数の定義が曖昧なまま推定すると、解釈も評価も不安定になる。
1.2 モデルの基本形
最も基本的な線形回帰では、観測ごとに目的変数を説明変数の線形結合と誤差項で表す。対象が \(n\) 個のデータ点、説明変数が \(p\) 個のとき、回帰モデルは次の形で書ける。
\[ y_i = \beta_0 + \beta_1 x_{i1} + \cdots + \beta_p x_{ip} + \varepsilon_i \]
ここで \(\beta_0\) は切片、\(\beta_1,\ldots,\beta_p\) は回帰係数、\(\varepsilon_i\) は誤差である。
このモデルは「平均的な関係（条件付き期待値）」と「ばらつき（誤差の分散）」の二層構造として理解できる。係数推定は誤差を直接観測できないという難しさがあるため、損失関数に基づく最適化で代替する。
1.2.1 切片と回帰係数の意味
切片 \(\beta_0\) は、全説明変数が基準値（典型的には 0）にあるときの目的変数の平均を表す。説明変数の定義により 0 が「意味のある基準」にならない場合もあるため、切片を解釈するときは尺度と符号化の前提を確認する。
回帰係数 \(\beta_j\) は、他の説明変数を一定としたときに、\(x_j\) が 1 単位増えると目的変数が平均でどれだけ変化するかを示す。線形モデルでは、この影響は全観測域で一定と仮定される。
係数の大きさは特徴量のスケールに依存するため、比較を行う場合は標準化などの前処理が有効になることがある。
1.2.2 誤差項と確率的解釈
誤差項 \(\varepsilon_i\) は、モデルで説明できない要因や観測の揺らぎをまとめた成分である。線形回帰では、誤差項の統計的性質（平均や分散、相関の有無など）が推定の性質を左右する。
典型的には、誤差が「平均 0」であること、観測間で独立であること、説明変数と体系的に関係しないこと（条件付き平均が 0 であること）などが仮定される。これらが満たされると、最小二乗法で得た係数が平均的に正しい方向を向く。
また等分散性が仮定される場合、誤差のばらつきは説明変数の値によらず一定とされる。これに反すると、推定自体は可能でも標準誤差や検定の解釈が崩れる。
1.3 代表的な用途
線形回帰は、計算が比較的軽く、係数を通じて関係を説明しやすいため、幅広い分野で基本手法として用いられる。特に探索的段階で、データの傾向を素早く捉える用途が多い。
また、より高度な手法（正則化、非線形拡張、アンサンブル）へ進む前段階としても役立つ。ここでは代表的な二つの用途を整理する。
1.3.1 予測
予測では、説明変数を入力として目的変数の値を見積もる。線形回帰は入力特徴量の線形結合で出力を作るため、学習が安定しやすいという利点がある。
ただし、目的変数と説明変数の関係が強く非線形であると、予測誤差が増える。実務上は、残差の構造がランダムでない場合に非線形性の兆候として扱い、特徴量の拡張や別モデルの検討につなげる。
さらに、学習データで最小二乗誤差が小さくても、未知データでの誤差が悪化することがあるため、交差検証や保持検証による評価が重要になる。
1.3.2 変数間の関係の解釈
解釈では、係数を手がかりに変数の寄与を理解する。ただし相関や交絡、測定誤差、非線形性の見落としなどがあると、係数の解釈は単純化し過ぎになる。
多重共線性がある場合には、係数推定のばらつきが増え、符号の安定性が低下することがある。そのため、係数の有意性だけで結論を出すのではなく、信頼区間や診断情報を併用する。
線形回帰の「条件付き平均」に基づく解釈という性格を明確にし、因果関係の断定を避ける運用が一般的である。
2 推定（推定量の導出）
線形回帰の推定とは、誤差を含むモデルの中で未知の係数 \(\beta\) を決めることに相当する。代表的な手法は最小二乗法であり、損失関数を最小化する形で推定量が導かれる。
この節では、最小二乗法の導出から始め、同じ仮定のもとで最尤推定と一致する関係、そして直感的な理解を整理する。
2.1 最小二乗法
最小二乗法は、予測値と観測値の差の二乗和を最小にする係数を選ぶ方法である。二乗を用いることで、誤差の大きなズレが強く罰せられ、最適化が滑らかな問題として扱いやすくなる。
また線形モデルでは、損失関数が係数に関して二次形式になるため、解析的に解を得られる場合が多い。
2.1.1 損失関数（平方誤差）
データ点 \(i\) における予測を \(\hat{y}_i\) とすると、残差は \(y_i-\hat{y}_i\) で表される。最小二乗法の損失関数は
\[ \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 \]
であり、係数はこの量が最小となるように決める。
平方誤差は符号を打ち消さず、誤差の方向が異なっていても大きさとして集計される。結果として、外れ値があるとそれが損失に強く影響し、係数が引きずられる場合がある。
2.1.2 正規方程式
最小化の条件は、損失関数を係数で偏微分して 0 と置くことにより得られる。通常、切片を含めた係数ベクトルをまとめて扱い、連立一次方程式として書き下す。
その解は、行列の形で「正規方程式」と呼ばれる方程式系を解くことで求まる。説明変数が十分で行列が可逆なら一意な解が得られる。
一方で、説明変数が冗長である（行列が特異、あるいは条件数が極端に大きい）と、解が一意にならない、または数値的に不安定になる。このとき正則化が実務的に有効になる。
2.1.3 行列表現と解法
行列表現では、目的変数をベクトル \(y\)、説明変数を設計行列 \(X\)、係数をベクトル \(\beta\) とし、モデルを
\[ y = X\beta + \varepsilon \]
と書く。ここで最小二乗解は
\[ \hat{\beta} = (X^\top X)^{-1}X^\top y \]
のように表される（可逆の場合）。計算の実装では、逆行列を直接計算せず、分解法（QR 分解や特異値分解など）を用いることで数値安定性が高まることがある。
さらに、切片を含めるかどうかで設計行列の構造が変わるため、データ前処理（平均中心化など）と合わせて設計する。
2.2 最尤推定との関係
最尤推定は、観測がある確率分布に従うと仮定し、その分布がデータを最もよく説明するパラメータを選ぶ方法である。線形回帰では、誤差項に正規分布を仮定すると、最小二乗法と一致する形で推定が得られる。
この関係により、推定の意味が「最小化」だけでなく「確率モデルに基づく最適化」としても理解できる。
2.2.1 正規性仮定と推定の一致
誤差項が平均 0、分散一定の正規分布に従うと仮定すると、尤度は残差平方の総和に関する指数型になる。尤度を最大化することは、対数尤度を最大化することであり、結果として平方誤差の損失を最小化することと同値になる。
したがって、通常の線形回帰の最小二乗解は、正規誤差を仮定した最尤推定の解としても解釈できる。
この一致は、推定値の一致を保証するだけでなく、係数の分布近似や信頼区間の導出にも道を開く。ただし正規性が強く破れる場合には、推論の妥当性が揺らぐ。
2.3 係数推定の直感
係数推定を「当てはまりの最適化」として理解するだけでなく、予測誤差の中身を分けることで直感を補強できる。ここでは、誤差の分解と学習のイメージを整理する。
2.3.1 予測誤差の分解
予測誤差には、モデルが捉えられない要素（情報の限界）と、推定やデータのばらつきに由来する成分が含まれる。線形モデルは誤差の期待値を 0 に近づけつつ、分散を抑える方向に係数を調整する。
また、説明変数の選択が不適切だと、系統的なズレ（残差の偏り）が残りやすい。残差が一定の形を持ち続ける場合、モデルの表現力不足が示唆される。
さらに多重共線性が強いと、説明変数間の情報が重複し、係数の推定分散が増えるため、同程度の予測精度でも係数の安定性が低下し得る。
2.3.2 学習のイメージ
線形回帰の学習は、係数を少し動かしたときに損失がどう変化するかを見ながら、改善する方向へ進む作業として捉えられる。最小二乗法では解析的に解が得られることが多いが、概念的には「誤差二乗の勾配が 0 になる点」を探す問題である。
学習の結果は、設計行列の幾何的な性質にも依存する。例えばデータ点が設計空間のどの部分に集まっているか、説明変数がどの方向に相関するかが、解の性質を左右する。
このため、推定後の診断（残差の見え方、前提の適合、外れ値の影響確認）は、単に形式手続きではなく「学習がうまくいったか」を判定する工程となる。
3 評価と診断
評価と診断は、線形回帰の有効性を確認する中核である。予測性能の数値評価だけでなく、残差の性質を点検して前提の破れを早期に発見する。
ここでは、当てはまりの指標、残差分析、前提条件のチェックを段階的に扱う。
3.1 当てはまりの指標
当てはまりの指標は、学習データまたは検証データで、予測のズレの程度を要約する数値である。指標の選択によって解釈が変わるため、目的に合わせて使い分ける。
最小二乗の目的と同じ平方誤差に基づくもの、ばらつきの説明割合に基づくものが代表的である。
3.1.1 決定係数
決定係数 \(R^2\) は、目的変数の変動のうち、モデルが説明できた割合を示す統計量である。一般に、残差平方和が全変動に対してどれだけ小さいかを尺度化した形で計算される。
\(R^2\) が高いほど、学習データ上での当てはまりは良いと解釈される。しかし過学習の影響を完全に取り除くわけではないため、検証データでの評価も望ましい。
また、目的変数の分散が小さい状況や、モデル選択によっては値が直感とずれることがあるため、補助指標や残差診断と併用する。
3.1.2 平均二乗誤差と平方根
平均二乗誤差（MSE）は平方誤差の平均であり、平方根を取ったものが平方根平均二乗誤差（RMSE）である。RMSE は目的変数と同じ単位に戻るため、誤差の大きさを直感的に捉えやすい。
値が小さいほど予測誤差が小さいことを意味する。外れ値があると二乗によって影響が増えるため、データの性質により過大評価になる場合がある。
そのため、同じ MSE 系指標でも、外れ値に頑健な代替（例えば絶対誤差に基づく指標）を検討することがある。
3.2 残差分析
残差分析は、モデルの誤差構造が前提を満たしているかを可視化や統計検定で確認する作業である。残差がランダムに見えるかどうかが重要で、パターンがある場合は表現の不足や前提の破れが疑われる。
線形回帰では、残差の振る舞いから、非線形性や分散の変化、独立性の問題などを推測できる。
3.2.1 残差のパターン確認
残差を予測値や説明変数に対してプロットすると、一定の帯状構造や曲線状の形が現れることがある。もし平均残差が 0 から体系的にずれるなら、線形性の仮定が成立していない可能性がある。
また、残差のばらつきが説明変数の大きさに応じて増減していると、等分散性の仮定が崩れていることを示す。さらに、時系列データでは残差が時間に沿って相関を持つ場合がある。
こうした観察は、単にグラフを眺める行為ではなく、モデル改善の方向性を決めるための手掛かりになる。
3.2.2 外れ値と影響点
外れ値は、他の観測と比べて残差が極端に大きい点を指す。外れ値は損失の平方誤差に強く影響するため、係数が大きく変わることがある。
影響点は、単に残差が大きいだけでなく、係数推定に対してレバレッジが高い観測を意味する。設計空間上で他と離れた位置にあり、回帰面の形を引っ張りやすい場合に該当する。
実務では、外れ値や影響点の妥当性をデータの背景から確認し、必要に応じて頑健回帰やデータ修正（誤記修正など）を検討する。
3.3 前提条件のチェック
線形回帰の理論的な性質や推論の妥当性は、いくつかの条件に依存する。診断では、線形性、等分散性、独立性、残差の分布形状などを点検する。
全てが厳密に満たされる必要はないが、破れが大きい場合は推定量や信頼区間の解釈に注意が必要になる。
3.3.1 線形性
線形性は、平均的な関係が係数の一次結合で十分に近似できることを意味する。残差のプロットに曲線的な形が現れる場合、非線形成分が取り込まれていない可能性が高い。
対処としては、特徴量の拡張（多項式特徴、交互作用の追加）、変数変換（対数や平方根）、あるいは非線形モデルの採用が考えられる。
線形性の妥当性は、説明変数の範囲やサンプルの偏りにも依存するため、サブセットごとの点検も有用である。
3.3.2 等分散性と独立性
等分散性は、誤差分散が説明変数の値によらず一定であることを指す。残差の散らばりが予測値に応じて拡大・縮小する場合は、分散が一定でない兆候になる。
独立性は、観測間で誤差が相互に関係しないことを意味する。独立性が破れると、標準誤差の推定が不適切になり、検定結果の信頼性が低下する。
特に時系列や空間データでは相関構造が生じやすいため、データ生成過程に合わせた扱い（例えば相関を考慮した評価設計）を検討する。
3.3.3 残差の正規性（解釈上の注意）
残差の正規性は、係数の推論（検定や信頼区間）で重要になりやすい仮定である。正規性が成立すると、有限標本でも近似的な推論が扱いやすくなる。
ただし実務では、正規性が完全に成立しないことは珍しくない。大きな標本では中心極限定理による頑健化が働くこともあるが、外れ値や分布の歪みが強いと影響が残る。
残差のヒストグラムや確率プロットなどで形を確認しつつ、必要なら分布に依存しにくい推論（ブートストラップなど）や頑健手法の利用を検討する。
4 拡張と実務上の考え方
線形回帰は基礎として強力だが、現実データでは変数数の増加、特徴量の冗長性、非線形性の不足などが起こる。ここでは正則化、特徴量設計、多重共線性対処、そして非線形モデルとの比較の観点を整理する。
4.1 正則化による拡張
正則化は、係数の大きさやパターンに制約を加えることで過学習を抑え、推定の安定性を高める考え方である。特に説明変数が多いとき、あるいは \(X^\top X\) が不安定なときに効果がある。
通常、損失関数にペナルティ項を加え、その総和を最小化する形で学習する。
4.1.1 ラッソ回帰
ラッソ回帰は、係数に対して絶対値の和に基づくペナルティを加える手法である。ペナルティが働くことで、多くの係数が 0 に近づき、結果として変数選択の性質を持ち得る。
そのため「重要そうな特徴だけを残したい」という状況で利用されることが多い。特徴量間の相関が強い場合には、どれか一部が選ばれやすいなど、選択の偏りが生じることがある。
目的に応じて、係数の解釈性と予測精度のバランスを調整する必要がある。
4.1.2 リッジ回帰
リッジ回帰は、係数の二乗和に比例するペナルティを加える手法である。ラッソと異なり、係数が完全に 0 になるとは限らないが、大きな値を抑えて過学習を軽減する。
多重共線性があるときに安定性が改善される場合が多い。分散を下げる方向に働くため、予測の信頼性が上がることがある。
一方で、変数選択というよりは係数の縮小による効果が中心であるため、解釈の単純化はラッソほどには進まないことがある。
4.1.3 エラスティックネット
エラスティックネットは、ラッソとリッジのペナルティを組み合わせた手法である。両者の性質を併せ持つため、相関のある特徴が多い状況でも柔軟に学習しやすい。
ペナルティの配合比と強さを調整することで、予測誤差と係数の疎性のバランスを取れる。ハイパーパラメータは検証データで最適化するのが一般的である。
実務上は、データの特徴量設計やスケーリングとセットで扱うことで効果が安定しやすい。
4.2 特徴量設計
特徴量設計は、線形モデルの表現力を実データへ合わせるための中核工程である。線形回帰は係数が一次結合であるため、非線形の関係は特徴量の拡張によって近似することが多い。
また、尺度の調整やカテゴリ情報の表現方法も予測や解釈の質に直結する。
4.2.1 多項式特徴と交互作用
多項式特徴は、元の説明変数のべき乗を追加することで、曲線的な関係を線形回帰の枠内に取り込む方法である。たとえば \(x\) に加えて \(x^2\) を入れると、二次の曲率を学習できる。
交互作用は、複数変数の同時変化が特別な効果を持つ場合に導入する。例えば \(x_1 x_2\) のような項を加えると、片方の効果がもう一方の値に依存する形を表現しやすい。
ただし特徴量を増やし過ぎると過学習のリスクが上がるため、正則化や検証による制御が重要になる。
4.2.2 標準化・スケーリング
標準化・スケーリングは、特徴量の尺度を揃える前処理である。線形回帰自体は不変性をある程度持つが、正則化や数値計算の安定性では影響が顕著になる。
たとえばリッジやラッソではペナルティが係数にかかるため、元の特徴量のスケールが違うと縮小の度合いが偏りやすい。そこで平均 0、分散 1 への変換などが使われることが多い。
スケーリングは、交差検証を行う際に学習データに基づいて推定し、検証データへは同じ変換を適用するのが原則である。
4.2.3 ダミー変数化
ダミー変数化は、カテゴリ変数を 0/1 の指標変数に変換する手法である。たとえば地域が 3 種類なら、基準カテゴリ以外の 2 つをダミーとして表すことが多い。
基準カテゴリを選ぶことで係数の解釈が明確になる。係数は「基準カテゴリに対する差」を表す形になるため、実務での説明に適している。
カテゴリ数が増えると次元が膨らむため、正則化や選択戦略と組み合わせることがある。
4.3 多重共線性への対処
多重共線性は、説明変数同士が強く相関し、設計行列の条件が悪化する現象である。これにより係数推定の分散が大きくなり、係数の不安定さや符号の揺れが起こり得る。
予測精度が必ずしも悪化しない場合もあるが、解釈や推論には悪影響が出ることが多い。対処では、変数選択、縮約、表現の変更などが検討される。
4.3.1 変数選択
変数選択は、相関が高い特徴の一部を削除し、冗長性を減らす方法である。候補の絞り込みは、ドメイン知識、相関構造の確認、前処理後の性能評価などに基づいて行われる。
選択は恣意的になりやすいので、検証設計（交差検証など）と結び付けて再現性を確保する必要がある。単に相関だけで切ると、有益な情報を取りこぼす可能性もある。
ラッソやスパース化の手法は、変数選択と推定を同時に行う点で実務的な選択肢となる。
4.3.2 主成分分析との併用（概念）
主成分分析（PCA）は、多重共線性のある特徴を少数の合成変数に置き換える発想である。合成変数は互いに直交し、分散を説明する順に並ぶため、線形回帰の推定を安定化しやすい。
概念としては、元の特徴から主成分を作り、その主成分を説明変数として回帰を行う（PCA回帰の考え方）。これにより、元の特徴の相関構造を吸収しつつ、次元を抑える効果が期待できる。
ただし主成分は元の特徴と直感的に対応しないため、係数の解釈性は下がる。予測重視か解釈重視かで使い分けが必要になる。
4.4 決定木的発想と比較のポイント（統計的理解）
決定木的な発想は、データを分割して局所的な規則で予測する考え方である。線形モデルは全体にわたる一次近似が中心であり、両者の違いは「どの単位で規則を適用するか」に現れる。
比較では、表現力、外れ値や欠損への頑健性、過学習の傾向、そして予測の確率的理解の仕方に注目する。
4.4.1 線形モデルの強み
線形回帰は、学習が比較的高速で、係数に基づく診断や説明が行いやすいという利点がある。設計行列の条件が適切であれば、再現性の高い推定が得られやすい。
また、特徴量が適切に設計されていれば、多くの現象を解釈可能な形で捉えられる。誤差分布の仮定に基づく推論も組み立てやすく、統計的な理解が進めやすい。
さらに、正則化と組み合わせることで、変数選択や過学習抑制を同時に扱える点が実務上の強みとなる。
4.4.2 非線形モデルとの使い分け
非線形モデルは、入力と出力の関係が複雑で、線形近似では十分でない場合に有利になりやすい。決定木系やカーネル法、ニューラルネットなどは、表現力が高い代わりに、解釈が難しくなりやすい。
線形回帰から非線形モデルへ移る判断材料としては、残差が非ランダムであること、特徴量拡張をしても性能が改善しないこと、交差検証で汎化誤差が伸び悩むことが挙げられる。
ただし表現力が高いほど過学習も起こりやすいので、検証設計、正則化、学習データに対する妥当性確認を徹底することが重要である。