1 回帰式の基礎
回帰式は、観測されたデータの中で、ある変数が別の変数にどのように結びつくかを数式として表現したものである。統計学では、結果を説明したり将来値を見積もったりするための基本的な枠組みとして扱われる。機械学習でも、入力から出力を予測する中心的な手法の一つに位置づけられる。
1.1 定義
回帰式とは、目的とする変数の値を、1つ以上の説明変数に基づいて表した式を指す。多くの場合、観測値のばらつきを含みながら、平均的な関係を記述する。完全に一致する関数ではなく、データから推定される近似的なモデルである点が特徴である。
1.2 役割
回帰式の主な役割は、変数間の関係を定量化し、予測と説明を可能にすることである。たとえば、気温や年齢、価格などの要因が結果に与える影響を数値で示せる。また、どの要因が強く関連するかを比較する際にも利用される。
1.3 相関との違い
相関は、2つの変数がどの程度一緒に変動するかを示す指標であり、対称的な関係を表す。一方、回帰式は、目的変数と説明変数を区別し、片方をもう片方で説明する形をとる。相関は関係の強さを要約するのに向き、回帰は予測や要因分析に適している。
2 回帰式の種類
回帰式には、変数の数や関数の形に応じてさまざまな形式がある。単純なものから複数の要因を扱うもの、直線的な関係を仮定するもの、曲線的な関係を扱うものまで幅広い。目的に応じて使い分けられる。
2.1 単回帰式
単回帰式は、1つの説明変数だけを用いて目的変数を表す回帰式である。変数の関係を最も単純に捉えられるため、基礎的な分析でよく使われる。構造が明快で、解釈しやすい利点がある。
2.2 重回帰式
重回帰式は、複数の説明変数を同時に用いて目的変数を記述する。各変数の影響を他の要因を考慮しながら評価できるため、現実の複雑な現象に対応しやすい。ただし、変数が増えるほど解釈や検証は難しくなる。
2.3 線形回帰式
線形回帰式は、説明変数に対する目的変数の変化を直線的な関係として表す形式である。数式の形が比較的単純で、推定や解釈の方法が整備されている。統計分析の標準的な出発点として広く用いられる。
2.3.1 直線回帰
直線回帰は、1つの説明変数と1つの目的変数の関係を直線で表す。傾きによって、説明変数が1単位変化したときの平均的な変化量を読み取れる。最も基本的な回帰モデルの一つである。
2.3.2 多項式回帰
多項式回帰は、説明変数の2乗や3乗などを取り入れ、曲線的な関係を表現する。直線では捉えにくい変化の加速や減速を扱える。見た目は非直線的でも、式の係数に関しては線形な形を保つ場合がある。
2.4 非線形回帰式
非線形回帰式は、パラメータに対して式が線形でない回帰モデルを指す。成長過程や飽和現象など、直線では表しにくい関係に適している。推定にはより複雑な計算が必要になることが多い。
3 回帰式の構成要素
回帰式は、いくつかの基本要素から成り立つ。それぞれの役割を理解すると、式全体の意味を把握しやすい。各項は、データの中心傾向や変動、予測のずれを分担して表現している。
3.1 目的変数
目的変数は、説明される側の変数であり、予測したい対象でもある。従属変数と呼ばれることもある。売上高、身長、得点など、分析の目的に応じて対象は異なる。
3.2 説明変数
説明変数は、目的変数の変動に関わると考えられる入力側の変数である。独立変数とも呼ばれるが、必ずしも因果関係を意味するわけではない。複数の要因を組み合わせて扱うことが多い。
3.3 回帰係数
回帰係数は、説明変数が目的変数に与える影響の大きさと方向を示す値である。正の係数なら増加方向、負の係数なら減少方向の関係を表す。係数の解釈は、他の変数を一定とみなす条件の下で行われる。
3.4 定数項
定数項は、説明変数がすべて0のときの基準値を表す項である。切片とも呼ばれる。実際の意味は文脈によって異なり、必ずしも現実的な状態を直接示すとは限らない。
3.5 誤差項
誤差項は、回帰式で説明しきれない変動を表す要素である。測定誤差、未観測の要因、偶然のゆらぎなどが含まれる。モデルが現実を完全には再現できないことを示す重要な部分である。
4 回帰式の推定と評価
回帰式は、理論的に書くだけではなく、データから係数を求めて評価する必要がある。推定の方法によって、得られる結果や解釈の細部は変わる。さらに、当てはまりや予測性能を確認することで、モデルの妥当性を判断する。
4.1 推定方法
推定方法とは、観測データに最もよく合うように回帰式のパラメータを決める手続きである。代表的な方法には、残差の二乗和を最小にするものや、観測の起こりやすさを最大にするものがある。手法の選択は、モデルの種類や目的に左右される。
4.1.1 最小二乗法
最小二乗法は、予測値と観測値の差を二乗して足し合わせ、その合計が最も小さくなるように係数を求める方法である。計算が比較的明快で、線形回帰で特に広く使われる。外れ値の影響を受けやすい点には注意が必要である。
4.1.2 最尤法
最尤法は、観測データがもっとも起こりやすくなるようにパラメータを推定する方法である。確率モデルを前提にするため、さまざまな回帰手法に応用できる。統一的な枠組みを持ち、拡張性が高い。
4.2 当てはまりの指標
当てはまりの指標は、回帰式がデータをどの程度うまく説明しているかを示す。単に誤差が小さいだけでなく、説明力や予測の安定性を確認することが重要である。目的に応じて複数の尺度を併用する。
4.2.1 決定係数
決定係数は、目的変数のばらつきのうち、モデルで説明できる割合を表す指標である。値が高いほど当てはまりが良いとされるが、変数を増やすだけでも上がりやすい。比較の際には解釈に慎重さが求められる。
4.2.2 残差
残差は、観測値と予測値の差である。モデルが捉えきれなかった部分を示し、偏りや異常値の確認に役立つ。残差の分布やパターンを見ることで、式の不適切さを見つけやすくなる。
4.3 モデルの検証
モデルの検証は、推定した回帰式が新しいデータにも適用できるかを確かめる作業である。学習したデータに合うだけでは十分ではなく、未知のデータへの対応力が重要である。検証を通じて、過剰な複雑さを避けられる。
4.3.1 過学習
過学習は、訓練データに過度に適合し、一般化性能が低下する現象である。細かなノイズまで拾ってしまうと、新しいデータで誤差が大きくなる。モデルが複雑になりすぎたときに生じやすい。
4.3.2 交差検証
交差検証は、データを複数の部分に分け、学習と評価を繰り返す方法である。限られたデータでも性能を比較的安定して見積もれる。モデル選択や過学習の確認に有効である。
5 回帰式の前提と注意点
回帰式の解釈は、いくつかの前提条件の上に成り立つ。これらが満たされないと、推定結果の信頼性が損なわれることがある。実際の分析では、前提がどの程度近似的に成り立つかを点検することが重要である。
5.1 線形性
線形性は、説明変数と目的変数の関係が一定の形で表せることを意味する。関係が曲がっているのに直線を当てると、偏った推定になりやすい。必要に応じて変数変換や別のモデルを検討する。
5.2 独立性
独立性は、観測や誤差が互いに強く依存していないことを指す。時系列データや近接したサンプルでは、この条件が崩れやすい。依存がある場合は、通常の推定結果をそのまま解釈できないことがある。
5.3 等分散性
等分散性は、説明変数の水準が変わっても誤差の散らばりがほぼ一定であることをいう。ばらつきが大きく変化すると、推定や検定の精度に影響する。散布図や残差図で確認されることが多い。
5.4 正規性
正規性は、誤差が正規分布に近いという仮定である。特に推定の検定や区間推定で重要になる。大規模なデータでは影響が相対的に小さくなる場合もあるが、極端な歪みは注意を要する。
5.5 多重共線性
多重共線性は、説明変数どうしが強く関連している状態である。係数が不安定になり、個々の変数の影響を見分けにくくなる。予測精度よりも解釈に大きな支障を与えることが多い。
6 回帰式の応用
回帰式は、理論研究から実務分析まで幅広い分野で利用されている。対象によって変数の意味は異なるが、関係を整理し、将来を見積もるという基本機能は共通している。データが増えるほど、その有用性は高まりやすい。
6.1 経済学
経済学では、消費、投資、価格、所得などの関係を調べるために回帰式が使われる。政策効果の推定や需要予測にも応用される。複数要因の影響を同時に考慮できる点が利点である。
6.2 自然科学
自然科学では、実験データや観測結果から法則性を近似するために用いられる。温度、濃度、時間経過などと測定値の関係を表す場合がある。理論式の補助として機能することも多い。
6.3 工学
工学では、品質管理、制御、性能評価などに回帰式が活用される。入力条件と出力の関係を把握することで、設計や最適化に役立つ。製造現場では、異常検知の基礎にもなる。
6.4 医学
医学では、検査値や生活習慣と健康指標の関係を調べるために使われる。リスク要因の整理や予後予測にも応用される。個人差が大きいため、慎重な解釈が求められる。
6.5 データ分析と予測
データ分析では、回帰式は予測モデルの基本形として広く利用される。販売数、アクセス数、需要などの将来値を見積もる際に便利である。説明性と予測性の両立を図りやすい点が重視される。
7 回帰式の拡張
基本的な回帰式は、より複雑な目的に対応するために拡張されてきた。目的変数の性質やデータの構造に応じて、特殊なモデルが導入される。これにより、分類や正則化など、通常の回帰を超えた課題にも対応できる。
7.1 ロジスティック回帰
ロジスティック回帰は、結果が二値などのカテゴリである場合に用いられるモデルである。確率を扱い、ある事象が起こる可能性を推定する。名前に回帰を含むが、分類での利用が中心である。
7.2 リッジ回帰
リッジ回帰は、係数の大きさに罰則を加えて推定を安定させる手法である。説明変数が多い場合や多重共線性がある場合に有効である。過度な振れを抑え、予測性能の向上を狙う。
7.3 ラッソ回帰
ラッソ回帰は、係数の絶対値に基づく罰則を用いる正則化手法である。一部の係数を0にしやすく、変数選択の機能を持つ。簡潔なモデルを得たい場面で重宝される。
7.4 一般化線形モデル
一般化線形モデルは、通常の線形回帰を広く拡張した枠組みである。目的変数の分布やリンク関数を変えることで、さまざまなデータ型に対応できる。多様な現象を統一的に扱える点が大きな特徴である。