1 残差項の概念
1.1 残差と誤差の関係
回帰モデルでは、観測された目的変数が「説明変数による体系的な部分」と「それ以外の揺らぎ」に分解される。このとき、誤差はデータ生成過程に潜む確率的な撹乱成分として定義される概念である。一方、残差は推定された回帰式から計算される量であり、モデルが捉えきれない差分を実測ベースで表す。
両者はしばしば混同されるが、厳密には異なる。誤差は未知の真の成分であるのに対し、残差は未知量を推定値で置き換えた結果として得られる。したがって、残差には推定誤差も含まれ、誤差を直接観測したものではない。ただし、モデルが適切で推定が十分に安定している場合、残差のふるまいが誤差の性質を反映しやすく、実務上の診断では残差が中心的に用いられる。
1.2 残差項の数式表現
最も基本的な線形回帰では、目的変数 \(y_i\) は \[ y_i = x_i^\top \beta + \varepsilon_i \] の形で表される。ここで \(x_i\) は説明変数のベクトル、\(\beta\) は係数、\(\varepsilon_i\) は誤差（撹乱）である。推定後に得られる予測値は \[ \hat{y}_i = x_i^\top \hat{\beta} \] となり、残差は \[ e_i = y_i - \hat{y}_i \] として定義される。残差 \(e_i\) は、真の誤差 \(\varepsilon_i\) と係数推定のずれに起因する成分の合成として理解できる。
より一般化した枠組みとして、誤差構造を含むモデルでは \(\varepsilon_i\) の分散や相関が仮定により規定される。残差はその仮定がどの程度成り立っているかを評価する観測量として機能する。
1.3 残差項が果たす役割
残差項は「未説明部分」を明示化するため、推定の妥当性を点検する基盤になる。第一に、平均がゼロであるかどうか、分散が一定か、系列的な依存が残っていないかといった前提の検証に直結する。第二に、モデル不足を示すサインとしても働く。たとえば、残差のパターンに体系性が残っていれば、説明変数の取り方や関数形が不十分である可能性がある。第三に、外れ値や影響度の検出に利用される。ある観測点の残差が大きいだけでなく、その点が係数推定にどれほど影響するかは別の評価軸であり、残差項はその入口となる。
さらに、異分散や自己相関が疑われる場合には、残差を単なる診断対象に留めず、誤差の構造そのものをモデル化する方向へと発展する。こうした設計では、残差の仮定が推論（標準誤差、信頼区間、検定の妥当性）を左右する。
2 残差項の定義に基づく統計的前提
2.1 平均の仮定
回帰で一般に置かれる基本的前提の一つが、誤差（または残差）が平均ゼロ近傍であるという考え方である。線形モデルの文脈では、条件付き平均が説明変数に対してゼロになることが望ましい。これが成立すると、体系的な偏りがモデルに残らず、係数推定が「平均的に正しい方向」を向きやすくなる。
平均ゼロの仮定が破れている場合、残差の分布が中心からずれるだけでなく、目的変数と説明変数の関係に未モデル化の要素がある可能性が高まる。その結果、予測精度だけでなく推定量の解釈にも影響が出る。平均の仮定は、残差の図示や集計量を通じた確認に加え、説明変数の追加や関数形の見直しといった実装判断にも結びつく。
2.2 分散（等分散）と不均一分散
等分散の仮定は、誤差の分散が観測点や説明変数の水準によって変わらないという考えである。線形回帰の標準的な推定では、この仮定が成り立つと、推定量の効率性や標準誤差の計算が素直に進む。逆に、分散が一定でないと、通常の推定手順のもとでは推定誤差が過小または過大に評価され、検定や信頼区間の信頼性が損なわれうる。
不均一分散（異分散）は、残差の散らばりが説明変数の値や予測値に応じて広がったり狭まったりする形で現れやすい。このため診断では、残差と予測値（または説明変数）を軸にした散布の形状が重要になる。
2.2.1 異分散が起きる典型場面
異分散は、目的変数の変動幅が規模に応じて変わるような状況で起きやすい。例として、金額や回数などの大きさが増えるほど観測の揺らぎが増えるデータが挙げられる。また、測定精度が一定でなく、条件により誤差の大きさが変わる場合も典型的である。
さらに、変数変換（対数変換など）の適否と関係することがある。残差の分散が指数的な増減を示すとき、適切な変換を行うことで等分散に近づく場合がある一方、変換が不十分だと診断上の異常が残る。
2.3 独立性と相関（自己相関）
独立性の仮定は、誤差（残差を反映する成分）が観測点間で互いに無関係であるという考えに対応する。特に時系列やパネルデータでは、隣接時点の誤差が似通う（自己相関）ことが起こりやすい。自己相関があると、推定量の標準誤差が正しく評価されない可能性がある。
自己相関は、残差の時間方向の並びにおいて周期性や持続性として現れることが多い。平均や分散の仮定が一見満たされていても、依存構造が残っていると推論の妥当性が損なわれる。したがって、独立性の点検は「単純な図示」に留まらず、相関の検出やモデル適合の再評価へつながる。
2.4 正規性などの分布仮定
正規性は、推定された係数の分布を解析的に扱いやすくし、検定や信頼区間の計算の基礎を与える仮定として知られる。ただし、現実のデータでは裾の厚さ、歪み、外れ値の存在により完全な正規性からの逸脱が起こりやすい。
分布仮定の重要性は、目的により異なる。予測中心であれば頑健性の高い評価指標で対応できる場合もあるが、母数分布に基づく推論を行う場面では、歪みや裾の重さが影響する。診断では、正規性を直接検証する手段（残差分布の形状、確率プロット）や、正規性からのズレを前提にした代替手法の採否が検討される。
3 残差項を用いたモデル診断
3.1 残差プロットによる確認
残差プロットは、仮定の破れを視覚的に捉える基本手段である。典型的には、縦軸に残差、横軸に予測値や説明変数を置く。等分散なら残差の散らばりは概ね一定幅になり、異分散があると幅が系統的に変化する形として観察される。
また、残差に曲線状の構造が現れる場合、線形性や関数形のミスが示唆される。ランダムな雲として見えるかどうかは、モデルが未説明の体系性を残していないかを検討する入口になる。診断では単一の図だけで結論を出さず、複数の切り口で同じ問題が見えるかを確認する。
3.2 正規性の診断
残差の正規性は、分布の対称性や裾の挙動の観点で評価される。具体的には、ヒストグラムの形状、分位点に基づく確率プロット（直線からの系統的なずれ）などが用いられる。外れ値があると、直線からの大きな逸脱や裾側の歪みとして現れやすい。
正規性が崩れていると、検定の頑健性が弱くなる場合がある。そのため診断結果は、ロバスト推定の採用、変数変換、分布を仮定するタイプのモデルへの切り替えなどの選択につながる。
3.3 異分散の診断
異分散の診断では、残差のばらつきが予測値や特定の説明変数の関数になっているかを確かめる。残差プロットでの見た目に加え、統計的検定や分散推定の手法で補強することがある。検定を使う場合は、サンプルサイズや前提の影響を受ける点に留意が必要である。
異分散が確認された場合、標準誤差の再評価が必要になる。代表的な対応として、加重回帰や分散構造を持つ一般化推定、あるいはロバスト分散推定が検討される。診断は「異分散があるか」だけでなく、「どの方向に、どの程度」変化しているかを理解することが重要となる。
3.4 自己相関・時系列診断
時系列では残差を時間軸に沿って並べたときの依存構造が問題になる。自己相関があると、ある時点の誤差が次の時点の誤差と関連し、残差は独立なノイズとして扱いにくくなる。診断では、残差系列の図示に加え、自己相関の検出指標やスペクトル的な見方が利用される。
自己相関が疑われると、単純な回帰の枠だけでは誤差の構造が表現できていないことを意味する。そこで、誤差項を自己回帰的に扱う設計や、状態空間モデル、差分や季節性の導入など、時系列としての取り扱いへ移行する判断が行われる。
3.5 外れ値と影響度の評価
外れ値は残差が大きい観測に対応することが多いが、単に「残差が大きい」だけでは影響度は断定できない。影響度は、その点が係数推定や予測に与える寄与の大きさとして評価される。レバレッジ（説明変数の極端さ）と残差の両面を組み合わせた指標が用いられることがある。
評価の目的は、データの品質問題の可能性、モデルの不適合の可能性、単なる偶然による極端値の可能性を切り分けることにある。対処としては、データ確認、頑健化、変数の再設計、必要なら対象集団の見直しなどが候補となる。なお、恣意的な除外は推論のバイアスを招くため、診断の根拠を明確にすることが重要である。
4 残差項を明示的にモデル化する方法
4.1 誤差構造の導入（一般化）
残差を明示的に扱うという発想は、誤差が独立・等分散の単純な形ではなく、分散や相関の構造を持つと考える点にある。代表的な方向性として、分散共分散行列を仮定して推定する枠組みがある。これにより、推定の基礎となる重みが観測ごとに変化し、依存を持つ誤差の扱いが可能になる。
一般化された誤差構造の導入は、診断で示された偏りを「図から仮定へ」移す作業に相当する。モデル化の際には、構造の妥当性と複雑さのトレードオフがある。過剰に細かい仮定は推定の不安定化を招くため、データ量と診断結果の強さを踏まえた設計が求められる。
4.2 異分散に対する工夫
異分散への対応としては、分散が説明変数や予測値に依存する形を仮定し、その形に基づいて重みを調整する方法がある。加重回帰は、分散の大きい観測の影響を相対的に抑え、推定の効率を改善する。
また、分散のモデル化が難しい場合には、ロバストな分散推定により検定や信頼区間を安定化させる方策がある。どちらを選ぶかは、残差のパターンがどれほど体系的か、説明変数の関数として分散を表しやすいかに依存する。結果の評価では、推定値の変化だけでなく、標準誤差や区間推定の妥当性が改善しているかを確認する。
4.3 自己相関を扱う時系列的アプローチ
自己相関を持つ誤差を無視すると推論が歪むため、時系列的な誤差構造を導入する考え方が用いられる。たとえば誤差が過去の値に依存する形を仮定し、回帰と同時に依存を推定する手法がある。これにより、残差が独立ノイズとして残るようにモデルを調整できる場合がある。
別の方針として、差分や移動平均の導入により系列の依存を減らす工夫がある。季節性やトレンドの存在が疑われる場合、それらを先に取り除いてから回帰を行う設計も採用される。診断で残ったパターンがどの時間スケールで起きているかを踏まえ、適切な構造を選ぶことが重要になる。
4.4 ロバスト推定と残差の頑健化
ロバスト推定は、誤差分布の理想からの逸脱や外れ値の影響を抑えることを目指す。代表的には、最小二乗のように誤差の二乗を極端に重く扱う手法から、誤差の大きい点の寄与を抑える推定へ切り替える。これにより、残差の正規性が弱い場合でも係数推定の安定性が高まることがある。
また、分散の不均一や部分的なモデルミスがあっても、検定をより信頼できる形にするためにロバスト分散推定が用いられる。重要なのは、ロバスト化が何を守っているのか（たとえば分散の推定に関する頑健性など）を理解したうえで、診断結果と整合的な手段を選ぶことである。
4.5 残差の再設計（補正・再推定）
残差の「再設計」は、誤差構造を見直した結果として残差が新しい形で定義されることを指す。例えば、変数変換やリンク関数の変更により、予測誤差の分布をより適切にする設計がある。変換により等分散性や線形性が改善されると、残差はよりランダムな形に近づく。
また、モデル選択や再推定により残差の体系性が減ることも再設計の一部である。外れ値を検討したうえでデータの整合性を確認し、必要ならモデルの対象範囲を見直すことで、残差は本来の揺らぎに近づく。再推定では、診断→修正→再診断の循環により、改善が実際に残差の構造に反映されているかを確認することが重要になる。