1 基本概念と歴史
1.1 定義と目的
回帰とは、統計学において、1つまたは複数の独立変数（説明変数）と従属変数（目的変数）との間の関係をモデル化するための手法群を指す。その主たる目的は、(1)データに最も適合する関数（回帰関数）を推定し、新たな入力に対する出力を予測すること、(2)変数間の関連性の強さや方向性を評価すること、(3)因果関係の推論の基礎を提供すること、の3点に集約される。回帰分析は、観測データから確率的な関係を抽出するため、誤差項の存在を前提とする点で、厳密な関数関係を扱う代数とは異なる。
1.2 歴史的発展（ガルトン、ピアソンから現代まで）
回帰の概念は、19世紀後半にフランシス・ガルトンによって初めて定式化された。ガルトンは親子の身長データを分析し、背の高い親の子は平均的に親より低く、背の低い親の子は平均的に親より高いという「平均への回帰」現象を観察した。この発見が「回帰」という名称の由来である。その後、カール・ピアソンはガルトンの研究を発展させ、相関係数や最小二乗法を数学的に体系化した。20世紀初頭には、ロナルド・フィッシャーが分散分析と実験計画法の枠組みで回帰を統合し、現代統計学の基盤を築いた。20世紀後半以降、コンピュータの普及により計算が容易になり、非線形回帰や正則化回帰など多様な手法が発展した。現在では、機械学習やデータサイエンスの中核手法として広く応用されている。
1.3 回帰と相関の関係
相関は2変数間の線形的な関係の強さを-1から1の範囲で示す指標であり、回帰はその関係を関数として具体的に表現する。両者は密接に関連するが、役割が異なる。相関係数は関係の方向と強度のみを要約するのに対し、回帰係数は独立変数が1単位変化したときの従属変数の平均的な変化量を定量化する。また、回帰分析では複数の独立変数を同時に扱うことができるため、交絡の調整や予測が可能となる。相関が因果関係を意味しないのと同様に、回帰も観察データから直接因果を導くものではないが、適切な条件下では因果推論の強力な道具となる。
2 主要な回帰手法
2.1 線形回帰
2.1.1 単純線形回帰
単純線形回帰は、1つの独立変数Xと従属変数Yの関係を直線Y = β₀ + β₁X + εでモデル化する。β₀は切片、β₁は傾き（回帰係数）、εは誤差項である。パラメータの推定には通常、最小二乗法が用いられ、実測値と予測値の差の二乗和を最小化する。この手法は解釈が容易で計算も簡単であるが、線形性の仮定が成り立つ場合にのみ有効である。
2.1.2 重回帰
重回帰は、複数の独立変数X₁, X₂, …, Xₖを用いて従属変数Yを説明する：Y = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ + ε。各回帰係数βᵢは、他の変数を一定としたときのXᵢのYに対する部分的な効果を表す。変数間の相関（多重共線性）や適切な変数選択が重要となる。決定係数R²はモデルの全体的な説明力を示すが、変数を増やすほどR²が増加するため、調整済みR²や情報量基準が併用される。
2.2 非線形回帰
2.2.1 多項式回帰
多項式回帰は、独立変数の多項式項（X², X³など）を追加することで曲線的な関係をモデル化する。例えば、2次多項式：Y = β₀ + β₁X + β₂X² + ε。線形回帰の枠組みを保ちつつ非線形関係を表現できるが、次数が高すぎると過学習を起こしやすい。また、外挿（データ範囲外の予測）には注意が必要である。
2.2.2 ロジスティック回帰（分類への応用）
| ロジスティック回帰は、従属変数が二値（0または1）の場合に用いられる。確率p = P(Y=1 | X)をロジット変換（log(p/(1-p))）により線形関数でモデル化する。出力は0から1の範囲に制約され、分類問題に応用される。係数はオッズ比として解釈される。一般化線形モデルの一種であり、リンク関数としてロジット関数を使用する点が特徴である。 |
|---|
2.3 正則化回帰
2.3.1 リッジ回帰（L2正則化）
リッジ回帰は、最小二乗法の損失関数にL2ノルムの罰則項λ∑βᵢ²を追加する。これにより回帰係数を0に近づけるが完全には0にしない。多重共線性が存在する場合や、変数が多い場合に推定の安定性が向上する。λは正則化パラメータであり、交差検証により最適値が選択される。
2.3.2 ラッソ回帰（L1正則化）
| ラッソ回帰は、L1ノルムの罰則項λ∑ | βᵢ | を用いる。リッジ回帰と異なり、一部の係数を正確に0にできるため、変数選択の効果を持つ。スパースなモデルが得られ、解釈性が高まる。ただし、一群の強い相関変数がある場合、ラッソはそのうち1つだけを選ぶ傾向がある。エラスティックネットはL1とL2の混合である。 |
|---|
3 モデルの仮定と診断
3.1 古典的線形回帰の仮定
3.1.1 線形性と加法性
従属変数と各独立変数の関係が線形であること、および独立変数の効果が加法性をもつ（交互作用がない）ことを仮定する。線形性が満たされない場合、予測値に系統的なバイアスが生じる。変数変換（対数、平方根など）や多項式項の追加により対処する。
3.1.2 誤差項の独立性と等分散性
誤差項は互いに独立であり（系列相関がない）、すべての観測で同じ分散（等分散性）を持つことを仮定する。独立性の違反は時系列データなどで生じ、ダービン・ワトソン検定で検出する。等分散性の違反（不均一分散）は、ブリュッシュ・パガン検定や残差プロットで診断し、重み付き最小二乗法やロバスト標準誤差を用いて対処する。
3.1.3 誤差項の正規性
誤差項が平均0、分散σ²の正規分布に従うことを仮定する。この仮定は最小二乗推定量の不偏性や一致性には必須ではないが、仮説検定や信頼区間の正確性に影響する。標本サイズが大きい場合、中心極限定理により正規性の仮定は緩和される。
3.2 仮定違反の検出と対処法
3.2.1 残差分析
残差（実測値と予測値の差）をプロットすることで、仮定の違反を視覚的に検出する。残差vs適合値プロットでは、ランダムな分布が理想であり、パターン（漏斗状、曲線）があれば不均一分散や非線形性を示唆する。Q-Qプロットは残差の正規性を確認する。標準化残差やスチューデント化残差は外れ値の検出に用いられる。
3.2.2 多重共線性（VIFの利用）
独立変数間に強い相関がある状態を多重共線性と呼ぶ。分散拡大要因（VIF）が10を超える場合、深刻な多重共線性が疑われる。VIF = 1/(1-R²ᵢ)で計算され、R²ᵢは他の独立変数でi番目の変数を回帰したときの決定係数である。対処法として、相関の高い変数の削除、主成分回帰、リッジ回帰などがある。
3.2.3 外れ値と影響点の診断
外れ値は他のデータから大きく外れた観測値であり、影響点は回帰係数の推定に大きな影響を与える観測点である。クック距離は各観測点を除いたときの回帰係数の変化を測る指標であり、値が大きい（通常4/n以上）場合は影響点として疑う。レバレッジ値は説明変数の極端さを示し、DFFITSやDFBETASも併用される。
4 モデル評価と選択
4.1 適合度指標
4.1.1 決定係数（R²）と調整済みR²
決定係数R²は、モデルが説明する従属変数の分散の割合を示す。0から1の値をとり、1に近いほど当てはまりが良い。ただし、変数を追加するだけでR²は増加するため、調整済みR²（自由度調整済み決定係数）が用いられる。調整済みR²は変数の数でペナルティを課し、不必要な変数の追加を抑制する。
4.1.2 情報量基準（AIC、BIC）
赤池情報量基準（AIC）とベイズ情報量基準（BIC）は、モデルの当てはまりの良さと複雑さ（パラメータ数）のバランスを評価する。AIC = -2 log L + 2k、BIC = -2 log L + k log n（Lは尤度、kはパラメータ数、nは標本サイズ）。値が小さいほど優れたモデルとされる。BICはAICより複雑なモデルに厳しい傾向がある。
4.2 交差検証
4.2.1 k分割交差検証
データをk個のサブセットに分割し、k-1個で学習、残り1個で検証をk回繰り返す。すべてのデータが一度は検証に使われるため、過学習の検出に有効である。kは通常5または10が用いられる。計算コストは高いが、モデルの汎化性能を安定して推定できる。
4.2.2 ホールドアウト法
データを訓練セットとテストセットに単純に分割する方法。計算が高速だが、分割の仕方によって結果が変わりやすく、データが少ない場合に汎化性能の推定が不安定になる。通常、訓練:テスト = 70:30 や 80:20 が用いられる。
4.3 変数選択手法
4.3.1 ステップワイズ法
変数を逐次的に追加または削除することで最適な変数サブセットを探索する。前方選択（変数を追加）、後方削除（変数を削除）、増減法（両方向）がある。基準としてAICやp値が用いられる。計算が容易だが、多重比較の問題や探索の局所最適性に注意が必要である。
4.3.2 LARS（最小角回帰）
LARSは、ラッソ回帰の解法と密接に関連する変数選択アルゴリズムである。すべての変数の係数を0から始め、応答と最も相関の高い変数を徐々に追加しながら、すべての変数がモデルに含まれるまで経路を辿る。計算効率が良く、ラッソ解の全経路を効率的に計算できる。ステップワイズ法よりも安定した選択が可能である。
5 応用と実践上の注意
5.1 ビジネスと経済学における回帰（需要予測、価格分析）
ビジネスでは、売上予測、在庫管理、顧客生涯価値の推定に回帰が用いられる。例えば、広告費と売上の関係を線形回帰でモデル化し、最適な広告予算を決定する。経済学では、需要の価格弾力性の推定や、GDP成長率の要因分解に応用される。時系列データでは自己相関やトレンドの扱いに注意が必要であり、ダービン・ワトソン検定や差分系列の利用が行われる。
5.2 医学と疫学（用量反応関係、リスク因子分析）
医学研究では、薬剤の用量と効果の関係（用量反応曲線）をロジスティック回帰や非線形回帰でモデル化する。疫学では、喫煙と肺癌の関係など、リスク因子の影響をオッズ比やハザード比として定量化する。交絡変数の調整が重要であり、多変量回帰が標準的に用いられる。また、医薬品の有効性評価ではランダム化比較試験のデータに回帰が適用される。
5.3 機械学習との接点（回帰問題、過学習対策）
機械学習における回帰問題（連続値予測）は、統計的回帰と多くの手法を共有する。特に、決定木回帰、ランダムフォレスト、勾配ブースティング、ニューラルネットワークなどの非線形モデルが用いられる。過学習対策として、正則化（L1/L2）、交差検証、早期停止などが共通して重要である。アンサンブル法は個々のモデルのバイアスとバリアンスのトレードオフを改善する。
5.4 因果推論と回帰（操作変数法、傾向スコア）
観察データから因果効果を推定するために、回帰は操作変数法や傾向スコアマッチングと組み合わせられる。操作変数法は、内生性（交絡変数が測定不能な場合）に対処するため、独立変数と相関し誤差項と無相関な変数（操作変数）を用いる。傾向スコアは、処置群と対照群の共変量分布のバランスを調整するために、ロジスティック回帰で推定された処置確率を用いる。近年では、首尾一貫した因果推論の枠組みとして、有向非巡回グラフ（DAG）に基づくアプローチも普及している。