1 分散回帰の概要
分散回帰は、目的変数の平均（期待値）だけでなく、変動の大きさを表す量も説明変数に応じて変化させる考え方を、回帰分析の枠組みに組み込む手法群を指す。具体的には、観測誤差の分散が一定とみなす代わりに、説明変数や共変量の関数として誤差分散を与える構成をとることが多い。その結果、同じ平均予測に見えても、条件によって予測の確実性が異なる状況を、統計モデルとして取り込める。
従来型の回帰が「中心（平均）の推移」を主に扱うのに対し、分散回帰は「幅（ばらつき）の推移」も同時に扱う点に特徴がある。たとえば、説明変数が増えるほど観測のばらつきが増える場合、平均だけを当てるモデルでは誤差のばらつきが過小または過大評価されやすい。分散回帰ではこの非一定性をモデル化し、推定や予測の妥当性を改善することが狙いとなる。
1.1 基本概念（平均回帰との違い）
平均回帰では、誤差項の期待値がゼロで、分散は一定（ホモスケダスティック）といった仮定が置かれることが多い。これにより、最小二乗に基づく推定や、誤差分散を共通の尺度として扱う推論が可能になる。もっとも現実のデータでは、条件によってばらつきが変わるケースが頻繁に観測される。
分散回帰の基本アイデアは、誤差分散そのものを回帰の対象にする点にある。通常の回帰が「平均の式」を持つのに対し、分散回帰では「分散（あるいは標準偏差）の式」も同時に推定する。実務的には、平均モデルと分散モデルを別々に設計でき、同じ説明変数の関数として分散を表す場合もあれば、分散に効く変数を別系統で用意する場合もある。
1.2 ヘテロスケダスティシティの扱い
ヘテロスケダスティシティ（分散不均一）は、条件ごとに誤差の大きさが変化する現象である。平均回帰の推定をそのまま適用すると、推定量自体が不整合になるとは限らないが、標準誤差の見積もりや信頼区間、検定の妥当性が崩れやすい。特に「誤差分散が一定」という前提に依存する推論は影響を受ける。
分散回帰では、誤差分散を共変量の関数として明示することで、この問題をモデル内で吸収する。結果として、尤度に基づく推定では分散構造の情報が推定に反映され、標準誤差や区間推定が改善されることがある。また、分散モデルの形が適切であれば、同じ平均予測でも条件に応じた予測区間の幅が変わり、予測の整合性が高まる。
1.3 分散をモデル化する目的
分散をモデル化する主な目的は、(1)推論の精度向上、(2)予測区間の妥当化、(3)不確実性の構造理解にある。第一に、分散が一定でない状況で平均モデルだけを用いると、誤差の尺度の誤りが残り、標準誤差や情報量に基づく評価が歪みやすい。分散回帰はこのズレを補正し、推定量の信頼性を高める。
第二に、予測区間は誤差分散の仮定に強く依存する。条件によってばらつきが変わる場合、区間幅が均一だと保守的になったり、逆に過度に楽観的になったりする。分散回帰は条件ごとに幅を調整するため、区間の校正（観測が区間に入る頻度の整合性）を改善する。
第三に、分散モデルは「どの条件で不確実性が増えるか」という構造を明示する。これは科学的解釈や品質管理におけるリスク評価にもつながり、単なる当てはまり以上の価値を持つ場合がある。
2 数理的定式化
分散回帰の数理的な定式化では、平均構造と分散構造を分けて表すのが一般的である。観測された応答を \(y_i\)、説明変数を \(x_i\)、添字 \(i=1,\dots,n\) とすると、平均側と誤差側を別の式として与える。
多くの構成では、条件付き平均 \(E[y_i\mid x_i]\) をモデル化し、その周りの変動を表す条件付き分散 \(\mathrm{Var}(y_i\mid x_i)\) を別途モデル化する。さらに、分布の仮定により推定に用いる尤度関数が定まる。以降、分散構造の一般形から順に整理する。
2.1 分散構造の一般形
分散構造の一般形では、「誤差分散が共変量の関数」という原則を具体化する。平均モデルで定めた予測値からの残差を用いて誤差の大きさを表すため、分散モデルは通常、正の値を返す形で構築する必要がある。そのため、分散そのものに直接回帰させるのではなく、対数分散や標準偏差などを介して正値性を担保する設計がよく用いられる。
また、説明変数の選択は平均と分散で一致させる必要はない。分散に効く要因が平均に効く要因と異なる場合、別の共変量集合を用いて分散モデルを組むことがある。
2.1.1 分散の関数としての誤差モデル
誤差モデルの核は、条件付き分散を既知の共変量から作ることである。簡便には、観測誤差 \(\varepsilon_i\) を用いて \(y_i=\mu_i+\varepsilon_i\) と置き、\(\mathrm{Var}(\varepsilon_i\mid x_i)=\sigma_i^2\) とする。ここで \(\sigma_i^2\) を \(x_i\)（または \(z_i\)）の関数として指定する。
実装上は \(\sigma_i^2\) を直接線形結合で与えると負値が生じ得るため、リンク関数を通して表すことが多い。例として、\(\log \sigma_i^2\) を線形予測子で表せば、\(\sigma_i^2=\exp(\cdot)\) により正の分散が保証される。
例：線形分散モデル
分散モデルが線形予測子を用いる典型例として、次の形がある。平均側を \(\mu_i\) とし、分散側を \[ \log \sigma_i^2 = w_i^\top \gamma \] のように与える。ここで \(w_i\) は分散に関係する共変量、\(\gamma\) は分散モデルの係数である。これにより、観測ごとに異なる誤差分散 \[ \sigma_i^2 = \exp(w_i^\top \gamma) \] が決まり、状況ごとに不確実性の強弱が変化する。
この構成は解釈もしやすい。係数 \(\gamma\) の符号は、対応する共変量が分散に与える方向性に関連する。また、対数尺度で線形に扱うため、過度な極端値や負値の問題を避けつつ柔軟性を確保できる。
2.1.1 尤度関数による推定枠組み
分散回帰は、分布仮定を置くことで尤度関数が明確になる。たとえば、正規誤差を仮定する場合、各観測は \[ y_i\mid x_i \sim \mathcal{N}(\mu_i,\sigma_i^2) \] とみなせる。すると尤度は各点の条件付き密度の積として書け、対数尤度を最大化することで平均パラメータと分散パラメータを同時に推定できる。
同時推定は、平均と分散が相互に影響し得る場合に有利である。特に、誤差分散の誤指定が平均側の推定にも影響し得るため、分散を含めた枠組みで最適化する意義が大きい。
2.2 代表的な誤差分布と仮定
分散回帰で用いられる誤差分布は、データの性質に応じて選ぶ。最も基本的には正規分布が採用されるが、外れ値の存在や裾の厚さが大きい場合には頑健性を高める分布を検討する。
また、目的変数が連続であるとは限らず、離散値の場合には分散の概念が異なる。例えばカウントデータでは、分散が平均の関数として振る舞うモデル（指数分散族）に近い考え方が現れる。ただしここでは、分散回帰として「分散の式を共変量で柔軟に与える」という観点を中心に述べる。
分布仮定は、尤度最大化の結果に直接関与し、さらに予測区間の形にも影響する。したがって、単に分散モデルの形だけでなく、分布仮定の妥当性を診断することが重要になる。
2.3 共分散の拡張（必要に応じた考え方）
単純化のために独立誤差を仮定することが多いが、観測が相関する場合には共分散構造の導入が必要になる。たとえば時系列や空間データでは、誤差の相関がデータの生成過程に由来することがある。このとき、分散だけでなく共分散もモデル化対象になる。
拡張の一例として、誤差項を分散の異なる潜在過程として扱い、同時に相関のパラメータを推定する考え方がある。実務上は、相関構造を入れることで自由度が増え、推定が不安定になる場合もあるため、データ量や目的に応じて複雑さの調整が必要になる。
3 推定手法と推論
分散回帰の推定では、平均パラメータと分散パラメータをどのように推定するかが中心課題になる。正規分布の仮定下であれば尤度最大化が基本であり、より一般の枠組みでは重み付きや段階推定の考え方が補助になる。
推論では、標準誤差や信頼区間の解釈、さらにモデル診断として分散の再現性を評価する流れが重要になる。以下、推定・推論の基本的な観点を整理する。
3.1 尤度最大化（最尤推定）
尤度最大化では、平均と分散のパラメータを含む尤度（あるいは対数尤度）を最大にする推定値を求める。正規分布を仮定すれば、各観測の寄与が解析的に扱いやすくなり、最適化問題として解けることが多い。
同時推定により、分散モデルの係数が平均モデルの推定にも反映される。そのため、誤差分散が条件に依存する構造を正しく表現できると、推定の精度が高まり得る。逆に、分散の式が現実と乖離すると、尤度最大化の結果は見かけ上の当てはまりに偏ることがあるため、診断との組合せが望ましい。
3.2 重み付き推定の考え方
重み付き推定は、分散の大きい観測を相対的に小さな重みで扱う発想に基づく。ヘテロスケダスティシティでは、観測ごとの情報量が異なるため、等重みの推定は効率を落としやすい。分散回帰では、分散モデルから得た \(\sigma_i^2\) を利用して重みを構成する。
実務では「分散が既知」と仮定した重み付き最小二乗（GLS）の考え方が近いが、分散自体は未知であるため、初期推定から分散を更新する反復手順として実装されることがある。これにより、推定の収束と安定性を確保しつつ、計算負荷を抑える狙いがある。
3.3 標準誤差・信頼区間の解釈
標準誤差は、推定値がどの程度揺らぐかを測る尺度であり、分散回帰では「平均推定の不確実性」と「分散モデルの不確実性」が同時に関わる。特に尤度に基づく標準誤差は、両側面を反映した形で算出されることが多い。
信頼区間の解釈では、中心推定に加えて条件付き分散に応じた幅が生じる。平均の信頼区間は推定のばらつき、予測区間は観測のばらつきの両方を含むため、区別が必要である。分散回帰が意図するのは後者、すなわち「予測区間が条件によって適切に広がる／狭まる」ことである。
3.4 モデル診断（分散の再現性）
診断では、平均の当てはまりだけでなく、分散の再現性を確認する。典型的には、残差を用いて条件付きでばらつきが整理されているかを点検する。たとえば、ある共変量の関数として残差平方の傾向が残っているなら、分散モデルの説明力が不足している可能性がある。
さらに、尤度ベースの比較（情報量基準）や、予測区間の校正（観測が区間に入る割合）も診断の柱になる。分散回帰は「不確実性の構造」を扱うため、平均の残差だけでは見えない問題が潜むことがある。したがって、分散側の検証に重点を置く必要がある。
4 実装・応用
分散回帰の実装では、モデル選択、正則化、予測区間の扱い、そしてデータに即した事例設計が重要になる。分散モデルの変数選択を誤ると、予測区間の品質が下がりやすい。加えて、自由度の増加は過学習を招くため、制御の工夫が必要になる。
以下では、実務で頻出する論点を段階的に整理する。
4.1 モデル選択（分散モデルの形、変数選択）
モデル選択では、分散側の関数形と、分散に入れる変数の範囲を決める。分散モデルの形は、線形予測子に対数リンクを用いる簡易構成から、非線形基底（スプライン等）まで幅広い。選択の指針は、過度な単純化による体系的誤差と、過度な複雑化による不安定性のバランスにある。
変数選択では、平均モデルと同じ説明変数を使う構成がしばしば用いられるが、必ずしも同一である必要はない。分散に対してのみ影響する要因がある場合、分散モデルに追加の共変量を入れると予測区間の精度が改善することがある。逆に、情報が少ない変数を多数入れると推定が不安定になり得るため、段階的な評価や比較が望ましい。
4.2 正則化と過学習対策
分散回帰では分散モデル側にもパラメータが増えるため、過学習のリスクが高まりやすい。正則化は、係数の大きさを抑えたり、モデルの複雑度を制御したりすることで汎化性能を高める手法である。
典型的には、平均モデルと分散モデルの両方に対して罰則付き推定を行う方法が考えられる。あるいは分散モデルの側だけを正則化して、分散の推定を過度に振らせないようにする設計もある。選択に際しては、推定の安定性と予測区間の校正を同時に確認し、単なる当てはまりの改善に引きずられないことが重要になる。
4.3 予測と予測区間（不確実性の可視化）
分散回帰の実務価値は、予測区間による不確実性の可視化に表れる。条件 \(x^\*\) に対して平均予測と条件付き分散が得られると、予測分布（仮定した誤差分布に基づく）が定まり、区間を構成できる。
予測区間は、点推定だけでは見えない「どの条件で信頼できるか／不確かか」を示す。分散モデルが良好に推定されていれば、区間幅はばらつきが大きい領域で拡がり、安定した領域では縮む。意思決定では、平均値に加えて区間幅も評価軸になるため、校正された予測区間は実用上の重要性が高い。
4.4 実データでの典型的な適用例
分散回帰は、品質管理、需要予測、計測誤差の補正など、不確実性が条件に依存しやすい領域で利用される。たとえば計測機器では、入力条件や環境条件により測定ばらつきが変化することがある。平均だけを補正すると系統的に区間の幅が合わない場合があり、分散モデルの追加により予測区間の整合性が改善する。
また、需要や売上のような経済データでは、景気局面や価格帯によって変動の大きさが異なることがある。分散回帰により、変動が大きい局面における予測区間を適切に拡げ、意思決定のリスク評価を支援できる。さらに、モデル診断を組み合わせることで、分散に関係する要因がどの程度説明できているかを評価しやすい。