1 基本概念
回帰分析は、ある変数の値を他の変数から説明し、数量的な関係を式として表す統計手法である。観測データをもとに、目的変数がどのように変化するかを推定し、将来の予測や要因の把握に役立てる。統計学だけでなく、機械学習や各種の実証研究でも広く使われる。
1.1 回帰分析の定義
回帰分析とは、複数の変数の関係をモデル化し、目的変数の変動を説明する方法である。典型的には、説明変数の値から目的変数を推定する式を定め、その適合の程度を評価する。単なる経験則ではなく、誤差を含むデータを数理的に扱う点に特徴がある。
1.2 目的変数と説明変数
目的変数は、予測や説明の対象となる変数であり、従属変数とも呼ばれる。説明変数は、その変動に関連すると考えられる要因を表す。目的変数が一つでも、説明変数が一つとは限らず、複数の要因を同時に扱うことができる。
1.3 関連する統計的考え方
回帰分析を理解するには、相関、因果、誤差、推定といった基本概念の把握が必要である。これらは互いに関連するが、同じ意味ではない。特に、数式上の適合だけで現象の仕組みを断定することはできない。
1.3.1 相関との違い
相関は、2つの変数がどの程度一緒に変動するかを表す指標である。これに対し、回帰分析は、ある変数を別の変数で説明する方向を持つ。相関は対称的だが、回帰では目的変数と説明変数の役割が区別される。
1.3.2 因果関係との関係
回帰分析で変数間の関連が示されても、それだけで因果関係が証明されるわけではない。因果を論じるには、研究設計、介入、交絡因子の制御など追加の条件が重要になる。回帰は因果推論の補助として使われることはあるが、単独では十分でない場合が多い。
2 回帰分析の種類
回帰分析には、変数の数や関係の形に応じて多様な方法がある。基本的なものとして単回帰分析と重回帰分析があり、関係を直線で近似する線形回帰、曲線を用いる非線形回帰も含まれる。目的やデータの性質に応じて選択される。
2.1 単回帰分析
単回帰分析は、1つの説明変数で目的変数を説明する方法である。関係を最も基本的な形で捉えられるため、理解しやすく、初学者向けの例としても用いられる。変数間の傾向を直感的に確認するのに適している。
2.2 重回帰分析
重回帰分析は、複数の説明変数を同時に扱う手法である。各変数の影響を他の変数の存在を考慮しながら評価できるため、実際のデータ分析で特に利用頻度が高い。要因が複雑に絡む場面で有効である。
2.3 線形回帰
線形回帰は、目的変数と説明変数の関係を直線的な形で表す回帰モデルである。計算や解釈が比較的容易で、広い分野で基礎的な方法として用いられる。厳密に直線的でなくても、局所的に近似として使うことがある。
2.3.1 単純線形回帰
単純線形回帰は、1つの説明変数を用いる線形回帰である。直線の傾きが、説明変数が1単位変化したときの目的変数の平均的な変化量を示す。モデルが単純なため、関係の把握に適している。
2.3.2 重線形回帰
重線形回帰は、複数の説明変数を含む線形回帰である。各係数は、他の変数を固定したときの影響として解釈される。説明変数の数が増えるほど表現力は高まるが、解釈や検証はより慎重に行う必要がある。
2.4 非線形回帰
非線形回帰は、変数間の関係が直線では表せない場合に用いられる。成長曲線、減衰、飽和など、現実のデータに見られる曲線的な変化を扱いやすい。現象に合わせて柔軟な関数形を選べる点が利点である。
2.4.1 多項式回帰
多項式回帰は、説明変数のべき乗項を加えて曲線を表現する方法である。直線では表しにくい弯曲した傾向を近似できる。一方で、次数を上げすぎると形が複雑になり、解釈しづらくなる。
2.4.2 指数回帰
指数回帰は、増加や減少が一定の比率で進むような関係を表現する。人口増加や減衰現象のように、変化の幅が比例的に広がる場面で使われることがある。データの分布によっては変換を伴って扱う。
2.4.3 対数回帰
対数回帰は、説明変数または目的変数に対数変換を施して関係を捉える方法である。変化の大きさが次第に緩やかになるデータに適している。大きな値の影響を圧縮し、解釈を安定させる役割も持つ。
3 モデル構築と推定
回帰モデルを実際に作成するには、推定方法の選択、変数の整理、データの前処理が必要である。これらの工程は、結果の精度と解釈のしやすさに直接関わる。適切な手順を踏むことで、過度に複雑でない実用的なモデルを構築しやすくなる。
3.1 推定方法
推定方法は、観測データに最もよく合う係数を求める考え方である。代表的なものに最小二乗法と最尤法がある。どちらを用いるかは、モデルの種類や仮定、目的に応じて決まる。
3.1.1 最小二乗法
最小二乗法は、予測値と実測値の差の二乗和が最小になるように係数を決める方法である。計算が比較的明快で、線形回帰の基本として広く用いられる。大きな誤差をより強く反映する性質がある。
3.1.2 最尤法
最尤法は、観測されたデータが得られる確率を最大にするようにパラメータを推定する方法である。分布を仮定するモデルで特に重要であり、線形回帰以外にも応用される。統計的推論と相性がよい。
3.2 変数選択
変数選択は、モデルに含める説明変数を絞り込む手続きである。必要以上の変数を入れると複雑さが増し、解釈や予測性能に悪影響を及ぼすことがある。理論的根拠とデータの両方を考慮して行う。
3.2.1 前進選択
前進選択は、変数を少ない状態から始め、条件を満たすものを順に追加する方法である。構造が明確で、逐次的にモデルを広げられる。導入が容易だが、最適な組み合わせを必ず見つけるとは限らない。
3.2.2 後退選択
後退選択は、多くの変数を含むモデルから始め、寄与の小さいものを順に除く方法である。初期段階では広く候補を残せるため、重要な変数を見落としにくい。計算の流れが単純で、実務でも使われる。
3.2.3 ステップワイズ法
ステップワイズ法は、変数の追加と削除を交互に行いながらモデルを調整する手法である。前進と後退の長所を組み合わせた方法として利用される。自動化しやすいが、選ばれた変数の安定性には注意が必要である。
3.3 モデルの前処理
前処理は、分析前にデータの質を整える作業である。欠損や尺度の違い、極端な値は推定結果に影響するため、事前の整理が重要になる。前処理の適切さが、後の評価の信頼性を左右する。
3.3.1 欠損値処理
欠損値処理は、観測されていない値を扱うための手続きである。削除、補完、あるいは欠損のあるまま扱う方法などがある。扱い方によって結果が変わるため、欠損の原因も含めて検討する必要がある。
3.3.2 変数の標準化
変数の標準化は、異なる尺度をもつ変数を比較しやすくする処理である。平均や分散をそろえることで、係数の解釈や数値計算が安定しやすくなる。特に複数変数を扱うときに有用である。
3.3.3 外れ値への対応
外れ値への対応は、他の観測値から大きく離れたデータをどのように扱うかを決める作業である。誤入力であれば修正が必要だが、実際の現象を示す場合もある。除外するか残すかは、背景を確認して判断する。
4 評価と解釈
回帰モデルは、作成して終わりではなく、どの程度妥当かを確かめる必要がある。評価では、適合度、残差、係数の統計的意味を確認する。解釈では、数値の大小だけでなく、前提条件や限界も踏まえて読むことが大切である。
4.1 当てはまりの評価
当てはまりの評価は、モデルがデータをどれだけよく再現しているかを調べる工程である。数値指標とグラフの両方を使うと、見落としを減らしやすい。高い適合度が必ずしも良い予測を保証するわけではない。
4.1.1 決定係数
決定係数は、目的変数の変動のうち、モデルで説明できる割合を表す指標である。値が大きいほどデータへの適合がよいとされる。ただし、変数を増やすと上がりやすいため、単独では十分な判断材料にならない。
4.1.2 調整済み決定係数
調整済み決定係数は、説明変数の数を考慮して補正した指標である。変数を増やしただけで機械的に高くなる傾向を抑えられる。異なるモデルを比較するときに、決定係数より実用的な場合がある。
4.1.3 残差分析
残差分析は、予測値と実測値の差を調べて、モデルの偏りや仮定違反を確認する方法である。残差に規則的なパターンがあれば、モデルの形が不十分である可能性がある。散布図や分布図がよく用いられる。
4.2 仮説検定
仮説検定は、係数やモデル全体が偶然の変動だけで説明できるかを判断する枠組みである。回帰では、各係数の有意性や全体の説明力を検証する場面が多い。数値の有意性と実質的な重要性は区別して考える。
4.2.1 回帰係数の検定
回帰係数の検定は、各説明変数が目的変数に与える影響が統計的に有意かを調べる。係数がゼロと異なるかどうかを確認することで、変数の寄与を評価できる。結果は標本の大きさにも左右される。
4.2.2 モデル全体の有意性
モデル全体の有意性は、説明変数群がまとめて目的変数の説明に役立つかを検証する。個々の係数だけでは見えない全体的な効果を把握できる。回帰式として意味を持つかどうかの基礎的な確認になる。
4.3 解釈上の注意点
回帰分析の結果は便利だが、読み方を誤ると結論が不適切になる。変数同士の関係、データの偏り、適用範囲を慎重に考える必要がある。見かけの数値だけで判断しない姿勢が重要である。
4.3.1 多重共線性
多重共線性は、説明変数どうしが強く相関している状態である。これが強いと、個々の係数の解釈が不安定になりやすい。推定のばらつきが大きくなるため、変数の整理や再構成が検討される。
4.3.2 過学習
過学習は、学習データに過度に合わせすぎて、新しいデータへの適用性が下がる現象である。モデルが複雑になりすぎると起こりやすい。予測性能を重視する場合は、検証用データでの確認が欠かせない。
4.3.3 モデルの外挿
モデルの外挿は、観測範囲を超えた値を予測することを指す。範囲外では関係の形が変わる可能性があり、精度は低下しやすい。したがって、外挿結果は参考値として慎重に扱う必要がある。
5 応用分野
回帰分析は、現象の説明と予測が必要な多くの分野で用いられる。数値化された関係を扱えるため、実験データだけでなく観測研究にも向いている。分野ごとに変数の意味は異なるが、基本原理は共通している。
5.1 経済学における利用
経済学では、需要、供給、消費、価格変動などの分析に用いられる。複数の要因が同時に働く状況を整理しやすく、政策評価の補助にもなる。時系列データとの組み合わせも多い。
5.2 医学・生物学における利用
医学や生物学では、症状、検査値、環境要因と結果との関係を調べる際に利用される。治療反応や発現量の変化を記述する場面でも役立つ。再現性や交絡の管理が特に重視される。
5.3 工学における利用
工学では、品質管理、制御、性能予測、信号処理などに応用される。装置の特性や材料の挙動を数式で表すことで、設計や最適化に貢献する。実測値に基づく評価と相性がよい。
5.4 社会科学における利用
社会科学では、教育、行動、労働、消費などの分析に使われる。複数の背景要因が絡む現象を統計的に整理できるため、実態把握に有効である。調査設計と解釈の整合性が重要になる。
6 発展的手法
基本的な回帰分析を拡張すると、目的変数の性質やモデルの制約に応じた手法を扱える。分類問題への対応、正則化による安定化、より一般的な枠組みへの拡張などがその例である。用途に応じて選択肢が広がる。
6.1 ロジスティック回帰
ロジスティック回帰は、目的変数が二値のときに用いられる回帰手法である。確率を直接扱いやすく、分類問題に適している。線形回帰と似た形を持つが、出力の解釈は確率的である。
6.2 リッジ回帰
リッジ回帰は、係数の大きさに罰則を加えて推定を安定させる方法である。多重共線性がある場合に有効で、極端な係数の振れを抑えやすい。予測性能を重視する場面で利用されることが多い。
6.3 ラッソ回帰
ラッソ回帰は、罰則を用いて不要な係数をゼロに近づけ、変数選択も同時に行う手法である。説明変数が多いときにモデルを簡潔にしやすい。解釈性と予測の両立を目指す際に有用である。
6.4 一般化線形モデル
一般化線形モデルは、目的変数の分布やリンク関数を柔軟に設定できる枠組みである。線形回帰を含むより広い概念として理解できる。データの性質に合わせて、さまざまな応答変数を扱える。