1 基本概念
回帰モデルは、目的変数と説明変数の関係を数式で表し、その関係をデータから推定したり、未知の値を予測したりするための枠組みである。変数同士の関連を単に記述するだけでなく、どの程度の変化がどの要因に結びつくかを定量化できる点に特徴がある。統計学では古くから中心的な手法であり、機械学習では予測モデルの基本形としても広く扱われる。
1.1 回帰モデルの定義
回帰モデルとは、ある応答変数が説明変数の関数として生成されるとみなし、その関数形や誤差の性質を仮定してデータに適合させる統計モデルである。多くの場合、観測値は「系統的な成分」と「偶然的なばらつき」に分けて考えられる。前者を数式で表し、後者を誤差項として扱うことで、現実の不確実性を含んだ推定が可能になる。
1.2 目的変数と説明変数
目的変数は、予測や説明の対象となる量であり、応答変数とも呼ばれる。説明変数は、その変動に影響する要因として導入される入力側の変数である。説明変数は数値だけでなく、カテゴリ変数や時点、属性情報なども含みうる。どの変数を目的変数に置き、どれを説明変数とみなすかは、分析目的とデータの構造によって決まる。
1.3 回帰分析との関係
回帰モデルは分析の対象となる数理的枠組みであり、回帰分析はそれを用いて推定、検定、解釈を行う実践的な手続きである。両者はしばしばほぼ同義に使われるが、厳密には区別されることがある。前者はモデルそのもの、後者はそのモデルを使った解析全体を指すことが多い。
1.4 統計モデルとしての位置づけ
回帰モデルは、確率分布を伴う統計モデルとして位置づけられる。観測されたデータの背後にある平均的傾向を捉える一方、個々の観測に見られるばらつきも明示的に扱う。記述統計よりも強い仮定を置くが、その分だけ推論や予測に役立つ情報を引き出しやすい。
2 回帰モデルの種類
回帰モデルには、変数の型や関係の形に応じて多くの種類がある。連続量を扱うもの、二値の結果を対象とするもの、件数データに適したもの、階層構造や高次元データを扱いやすくしたものなどが代表的である。目的に合った形式を選ぶことが、解釈可能性と予測性能の両立に重要である。
2.1 線形回帰
線形回帰は、目的変数の期待値を説明変数の一次結合として表す最も基本的な回帰モデルである。形式が単純で解釈しやすく、推定や検定の理論も整っているため、入門から実務まで幅広く用いられる。変数間の関係が近似的に直線で表せる場合に特に有効である。
2.1.1 単回帰
単回帰は、説明変数を一つだけ用いる線形回帰である。目的変数と一つの要因の関係を明瞭に確認でき、傾きの意味も理解しやすい。探索的な分析や、最初の概略把握に向いている。
2.1.2 重回帰
重回帰は、複数の説明変数を同時に用いて目的変数を説明する方法である。ある変数の効果を他の変数を一定とした条件下で評価できるため、交絡の影響をある程度抑えられる。実際のデータ分析では、単回帰よりも重回帰のほうが一般的である。
2.2 非線形回帰
非線形回帰は、説明変数と目的変数の関係が直線では表しにくい場合に用いられる。指数関数、対数関数、べき乗関数など、曲線的な関係を表現できる点が特徴である。成長過程、飽和現象、加速的変化などを扱う際に適している。
2.3 一般化線形モデル
一般化線形モデルは、目的変数の分布が正規分布に限られない場合にも適用できる拡張である。平均構造、リンク関数、分布族を組み合わせることで、二値データやカウントデータにも対応する。線形回帰を含む広い枠組みとして理解される。
2.3.1 ロジスティック回帰
ロジスティック回帰は、二値の結果を扱う代表的なモデルである。確率をそのまま線形に表すのではなく、対数オッズを用いて説明変数との関係を記述する。分類問題や事象発生の確率推定によく使われる。
2.3.2 ポアソン回帰
ポアソン回帰は、件数や発生回数のようなカウントデータを対象とする。平均と分散の関係に特徴があり、発生頻度の分析に向く。事故件数、来客数、発症数などのモデル化で利用されることが多い。
2.4 階層回帰モデル
階層回帰モデルは、データが集団や個体群のような複数層の構造を持つ場合に用いられる。個別差と集団差を分けて表現できるため、教育、医療、組織調査など、観測がまとまりを持つ場面に適している。部分的に情報を共有することで、推定の安定化にも寄与する。
2.5 正則化回帰
正則化回帰は、モデルの複雑さに罰則を加えることで、過学習を抑え、予測性能を改善する手法群である。説明変数が多い場合や、互いに強く関連する場合に有効である。係数を縮めることで、解の安定性を高める効果もある。
2.5.1 岭回帰
岭回帰は、係数の二乗和に罰則を課す正則化法である。大きすぎる係数を抑えることで、推定値の分散を減らしやすい。多重共線性がある状況で特に有用とされる。
2.5.2 いらすと回帰
いらすと回帰は、一般に回帰モデルの説明用図版や視覚的な例示を指す文脈で用いられることがあるが、標準的な統計用語としては確立していない。実務では、概念図や模式図を使って回帰関係を直感的に示す際の説明補助として扱われることがある。
3 推定と学習
回帰モデルでは、未知の係数や分布のパラメータをデータから推定する必要がある。古典統計では解析的な推定法が重視され、機械学習では計算アルゴリズムによる学習も重要になる。手法の選択は、モデルの種類、データ量、計算資源、仮定の違いに左右される。
3.1 最小二乗法
最小二乗法は、観測値とモデルの予測値との差の二乗和を最小にするように係数を定める方法である。線形回帰で最も基本的な推定法であり、計算が比較的容易で、理論的性質もよく知られている。誤差が対称的で、外れ値の影響が過大でない場合に扱いやすい。
3.2 最尤推定
最尤推定は、観測データが得られる確率を最大にするようにパラメータを選ぶ考え方である。分布を明示するモデルで広く使われ、一般化線形モデルや多くの確率モデルに適用できる。仮定された分布に整合的な推定ができることが利点である。
3.3 ベイズ推定
ベイズ推定は、未知パラメータを確率変数として扱い、事前分布とデータから得られる情報を組み合わせて事後分布を求める方法である。不確実性を分布として表現できるため、推定値だけでなく信頼の度合いも評価しやすい。事前知識を反映したい場合に特に有効である。
3.4 勾配降下法
勾配降下法は、損失関数の値が下がる方向へ反復的にパラメータを更新する最適化手法である。大規模データや複雑なモデルでは、閉形式解よりも現実的な計算手段となる。学習率の設定や収束判定が結果に影響するため、実装上の調整が重要である。
4 モデルの仮定と診断
回帰モデルの妥当性は、暗黙の仮定がどの程度満たされているかによって左右される。仮定が大きく崩れると、係数推定や予測精度、標準誤差の評価に影響が生じる。そのため、適用後の診断はモデル構築と同じくらい重要である。
4.1 線形性の仮定
線形性の仮定は、説明変数と目的変数の平均的な関係が、指定した形で表せるという前提である。実際には完全な直線関係でなくても近似が許されるが、強い曲がりや交互作用を見落とすと適合が悪化する。必要に応じて変数変換や非線形項の導入が行われる。
4.2 誤差項の仮定
誤差項には、平均がゼロであること、独立であること、等分散であることなどが期待される。さらに、推測の方法によっては正規性が仮定される場合もある。これらが満たされないと、検定や区間推定の信頼性が低下する可能性がある。
4.3 多重共線性
多重共線性は、説明変数同士が強く相関している状態を指す。係数の推定が不安定になり、個々の変数の効果を区別しにくくなる。予測自体には大きな支障がないこともあるが、解釈には注意が必要である。
4.4 残差分析
残差分析は、観測値と予測値の差を調べて、モデルの適合状況を確認する手法である。残差の散らばり方や系統的な偏りを見ることで、非線形性、分散不均一、異常値の存在を検出しやすい。可視化は診断の重要な手段となる。
4.5 外れ値と影響点
外れ値は、全体の傾向から大きく外れた観測である。影響点は、除去または変更したときに推定結果へ大きな変化をもたらす観測を指す。両者は一致するとは限らず、影響点の判定には残差だけでなく、説明変数の配置も考慮する必要がある。
5 評価と選択
回帰モデルの性能評価では、当てはまりの良さだけでなく、汎化性能やモデルの簡潔さも重視される。複数の候補を比較し、用途に適したものを選ぶことが実務では不可欠である。評価指標は一つでは足りず、目的に応じた複数の観点が必要になる。
5.1 決定係数
決定係数は、目的変数の分散のうち、モデルがどの程度説明できたかを示す指標である。0から1の範囲で解釈されることが多く、値が高いほど適合が良いとされる。ただし、変数を増やすと上がりやすいため、単独での判断には向かない。
5.2 平均二乗誤差
平均二乗誤差は、予測値と実測値の差を二乗して平均した指標である。予測の誤差の大きさを直接反映し、大きなずれを強く罰する性質がある。回帰の性能比較や機械学習における損失関数として広く用いられる。
5.3 交差検証
交差検証は、データを学習用と検証用に分けて、未知データへの性能を見積もる方法である。分割の仕方を変えて複数回評価することで、偶然による偏りを減らせる。モデル選択や正則化の強さを決める際に有効である。
5.4 情報量規準
情報量規準は、適合度とモデルの複雑さを同時に考慮して、候補モデルを比較する指標群である。変数の数が多いモデルに不必要な優位を与えにくく、過剰適合を抑える目的で使われる。
5.4.1 赤池情報量規準
赤池情報量規準は、尤度とパラメータ数をもとにモデルを評価する代表的な指標である。値が小さいほど、データに対して効率的なモデルとみなされる。異なる候補の相対比較に適している。
5.4.2 ベイズ情報量規準
ベイズ情報量規準は、尤度に加えてパラメータ数へのより強い罰則を持つ基準である。単純なモデルを選びやすい傾向があり、説明変数が多い場合に有用である。大標本では理論的性質も重視される。
5.5 モデル比較
モデル比較では、複数の候補について予測性能、解釈性、計算負荷、仮定の妥当性を総合的に判断する。単一の数値だけでなく、診断結果や現場の目的も踏まえる必要がある。最も複雑なモデルが常に最良とは限らない。
6 解釈と応用
回帰モデルの価値は、予測の精度だけでなく、変数間の関係を理解するための手段としても大きい。係数の意味を読み取り、区間推定を行い、必要に応じて因果的な解釈と区別することが重要である。多様な分野で応用され、実務上の意思決定を支えている。
6.1 回帰係数の解釈
回帰係数は、他の条件を一定としたとき、説明変数が一単位変化した場合に目的変数がどの程度変わるかを示す。符号は方向を、絶対値は変化の大きさを表す。ただし、変数の尺度やモデルの形式によって意味が変わるため、文脈に応じた読み取りが必要である。
6.2 予測と推定区間
予測では、点推定だけでなく不確実性を示す区間も重要である。推定区間は平均的な応答の不確実さを、予測区間は新しい観測値のばらつきを含めた範囲を表す。区間の幅は、データの散らばりや情報量に依存する。
6.3 因果推論との関係
回帰モデルは因果推論に用いられることがあるが、単に回帰式を当てはめただけで因果関係が証明されるわけではない。交絡、選択バイアス、逆因果などへの配慮が必要である。因果的主張を行うには、研究デザインや追加の仮定が重要になる。
6.4 実務での応用
回帰モデルは、需要予測、リスク評価、品質管理、政策分析、臨床研究など、多方面で使われている。説明可能性が高く、既存の知識と結びつけやすい点が実務上の利点である。データの性質に応じてモデルを調整することで、実用的な知見を得やすい。
6.4.1 経済学
経済学では、需要、供給、賃金、消費、投資などの関係を分析する際に回帰モデルが頻繁に用いられる。変数間の相互依存や交絡が多いため、モデル設計と解釈には慎重さが求められる。政策評価の基礎手法としても重要である。
6.4.2 医学
医学では、診断指標、予後、治療反応の解析に回帰モデルが利用される。患者背景を調整しながら効果を評価できるため、臨床研究に適している。ロジスティック回帰や生存分析と組み合わせて使われることも多い。
6.4.3 社会科学
社会科学では、教育成果、所得、行動傾向、調査回答などの分析に広く使われる。個人差と社会的要因が絡むため、階層構造やカテゴリ変数を含むモデルが役立つ。解釈可能性が高いことから、仮説検証にも向いている。
6.4.4 工学
工学では、品質予測、故障解析、プロセス制御、信号処理などに回帰モデルが応用される。測定誤差や非線形性を考慮しつつ、予測性能を高めることが求められる。実験計画法と併用される場合もある。