1 残差の定義
1.1 観測値と推定値の差としての残差
残差は、実際に観測された値と、統計モデルにより算出された推定値（予測値を含む）との差で定義される。回帰分析の文脈では、ある説明変数の組に対してモデルが与える平均的な応答と実測がどれほど離れているかを表す量として扱われる。符号付きで定義することで、推定より大きい（正の差）場合と小さい（負の差）場合を区別できる。
実務上、残差は個々のデータ点ごとの不一致を直接示すため、モデルの当てはまりの良否を俯瞰する第一段階の情報になる。さらに、複数のデータ点にわたる残差の分布やパターンを調べることで、平均構造や誤差の性質に関する仮定の妥当性を検討できる。
1.2 誤差項との関係
残差は、モデルが仮定する誤差項（誤差、攪乱項）と密接に関連する。通常、観測は「真の平均構造＋誤差」として表され、誤差項は未観測である。そのため実際には、真の平均構造の代わりに推定された平均構造を用いることになり、残差は誤差項の推定量に相当する。
1.2.1 期待値の置き方と意味
期待値の置き方は、残差の平均挙動をどのように解釈するかに関わる。たとえば回帰モデルでは、誤差項が説明変数に条件づけたときに平均ゼロである、という条件付き期待値の仮定が置かれることが多い。この仮定が成り立つなら、推定のもとで残差の期待値は概ねゼロ方向に集まるはずである。
一方、平均ゼロの条件が破れている場合、残差は系統的な偏り（一定の方向へのズレ）を示し、平均構造の見落としや不適切な変数指定が示唆される。
1.2.2 観測モデルにおける位置づけ
観測モデルの段階では、応答変数が説明変数の関数と誤差項の和として表される。残差はその「誤差項の実現値を推定したもの」として位置づけられるが、推定された平均構造が用いられるため、残差そのものは完全な誤差項ではない。
そのため、残差は誤差の特徴を写しつつも、推定手続の影響（係数の推定による制約、自由度の消費など）を受ける。後述する標準化残差や学生化残差は、こうした影響の補正を意識した指標として導入されることが多い。
2 残差の種類
2.1 生の残差
生の残差は、最も直接的に「観測値から推定値を引いたもの」として計算される。符号や大きさがそのまま反映されるため、直感的である反面、観測ごとに誤差のばらつきが異なる場合や、推定の不確実性が点によって異なる場合には、単純比較が難しくなることがある。
2.1.1 モデルに依存する計算手順
生の残差は推定値の求め方に依存する。線形回帰の文脈では、当てはめた回帰式により各観測点の予測値（あるいは適合値）が計算され、それを観測値から差し引く。モデルが一般化線形モデルなどの場合は、適合の定義（平均関数、リンク関数、どのスケールで予測するか）が異なるため、残差の計算もそれに連動する。
したがって同じ「残差」と呼ばれていても、採用したモデル仕様と予測のスケールが異なると、意味する量が完全には一致しない。
2.1.2 残差プロットでの読み取り
生の残差は残差プロット（横軸に推定値や説明変数、縦軸に残差など）での確認に用いられる。平均構造の誤りを疑うには、残差が特定の領域で偏る、曲線的なパターンを示すといった形状の手がかりが重要になる。
一方、ばらつきの増減（漏斗状の形）や、特定の説明変数に対して分散が体系的に変わる兆候は、等分散性の仮定に関連する問題を示しうる。読み取りは形式的であるほど危険であり、他の診断情報と合わせて解釈することが望ましい。
2.2 標準化残差
標準化残差は、残差の大きさを誤差分散の規模で割るなどして尺度を揃え、相対的な異常度を比較しやすくするための指標である。モデルが示す分散構造に応じて調整を行うことで、単なる大小以上に「どれくらい標準的なばらつきから逸脱しているか」を捉える方向に設計される。
2.2.1 分散の違いを調整する意義
等分散性が成り立たない場合、同じ大きさの生残差でも、誤差のばらつきが大きい領域では通常の揺らぎとして許容される可能性がある。標準化残差はこの点を考慮し、分散の違いに由来する見かけの違いを減らす。
結果として、外れ値候補の見極めや、分散構造の誤指定の検出に役立つことがある。
2.2.2 比較可能性の確保
異なる観測点間で、残差の比較可能性を高めることが標準化残差の実用的な狙いになる。同一の基準尺度に乗ることで、特定の点だけが不釣り合いに大きいかどうかを判断しやすくなる。
ただし、標準化がどの分散見積もりに基づくかは手続に依存するため、過度な確定的解釈は避けるべきである。
2.3 学生化残差
学生化残差は、ある観測を除外するなどして推定の不確実性をより反映させる方向で構成されることが多い。特に「その観測をモデルの当てはめに使ったことによる影響」を調整する観点が含まれ、外れ値検出や診断の精度向上を狙う。
2.3.1 推定への影響を反映する考え方
係数推定において、各観測点はモデルの形に影響を与える。したがって生残差や単純な標準化残差は、その点を使って推定した結果に条件づけられている。学生化残差では、この依存関係を弱めることで、残差が示す逸脱の度合いをより「その点が実際にどれほど不整合か」という観点で評価しようとする。
その結果、点ごとの比較だけでなく、外れ値としての疑わしさを判断する際の基準として扱いやすくなる。
2.3.2 外れ値検出への利用
学生化残差は、特定の観測が他と比べて過度に大きい場合に、外れ値の候補を示すのに利用される。一般に残差の大きさが予測できる範囲を大きく超えているとき、データの入力ミス、測定過程の異常、あるいはモデル化の不備が疑われる。
ただし「残差が大きい＝誤り」とは限らない。データの性質そのものが別の生成機構に由来する場合もあるため、統計診断と背景知識を組み合わせた確認が必要になる。
2.4 ピアソン残差・その他の残差
ピアソン残差は、特に分散が平均に関連する確率モデル（例：カウントや二項など）で用いられることが多い。一般に「観測値と期待値の差」を分散見積もりで割る形を取り、確率モデルの前提と整合しやすい指標として位置づけられる。
その他にも、連結関数のスケールに基づく残差、対数尤度やデビアンスに基づく残差など、診断目的やモデルの性質に応じて複数の派生が存在する。
2.4.1 分布モデルとの対応
ピアソン残差は、指定した確率分布が示す分散構造と整合するよう設計される。そのため、残差の分布やプロットから得られるパターンは、誤差がその確率モデルで適切に表現できているかを間接的に反映する。
モデルの当てはまりが良い場合、残差は比較的均質に散らばりやすい。逆に系統的な構造が現れる場合は、分布選択、リンク関数の指定、あるいは過分散などの問題を示す手がかりになる。
2.4.2 分析上の使いどころ
ピアソン残差は、一般化線形モデルなどで診断を行う際の「平均と分散の整合性」を見るための実務的な道具として使われる。残差プロットにより、特定の観測域で体系的な過大・過小が生じていないかを確認できる。
また、他の診断指標（影響点、適合の良し悪し、尤度基盤の指標）と組み合わせることで、単なる外れ値検出を超えたモデル改良の方向づけに役立つ。
3 残差の性質と前提条件
3.1 平均がゼロであるという仮定
残差を誤差項の推定量として扱うには、誤差の条件付き平均がゼロであるといった仮定が重要になる。平均ゼロが成り立つなら、残差は全体として正負が偏りにくく、体系的な方向性を持たないはずである。
平均ゼロが破れている場合、残差は特定の領域で一方向に偏り、平均構造の誤りが疑われる。たとえば説明変数の非線形性や、必要な交互作用項の欠落があると、残差が曲線状に現れることがある。
3.2 分散一定（等分散性）の仮定
等分散性とは、誤差のばらつきが説明変数の値に依存しないという考え方である。等分散が成り立つ場合、同程度の推定値の近辺では残差の散らばり方も似ている。
一方でばらつきが説明変数に伴って大きくなる（縮小する）場合、残差プロットに漏斗状のパターンが出やすい。等分散性の破れは推定の分散推定や検定の信頼性に影響するため、標準誤差の補正や分散構造の再設計（変換、ロバスト推定など）を検討する契機になる。
3.3 独立性と相関の問題
観測誤差が互いに独立であるという仮定も残差診断の土台になる。独立性が成り立たないと、残差は時間方向や空間方向に連動して見える場合がある。これは系列相関やクラスタ内相関などとして現れ、残差プロットでは単純な散らばりから逸脱することがある。
相関が無視されると、推定値の誤差評価が楽観的になり、信頼区間や検定が不適切になりやすい。対処として、相関構造をモデル化する手法や、依存を許容する推定手段が選ばれる。
3.4 正規性（近似を含む）の扱い
正規性は線形回帰における厳密な確率仮定という意味と、推定量の近似的分布としての意味の両方で扱われる。標準的な理論では、誤差が正規分布なら残差の振る舞いは特定の確率構造に近づくが、実務では大標本近似により一定程度の頑健性が期待されることもある。
ただし正規性が強く破れる場合、残差の裾が厚い、偏りがある、外れ値が過剰に出るといった形で診断に表れやすい。分布の仮定が重要なのは、残差が使われる目的（予測誤差の評価、検定、区間推定）によって重みが変わる点にも注意が必要である。
4 残差診断とモデル評価
4.1 残差プロットによる当てはまり確認
残差プロットはモデルの当てはまりを視覚的に確認する基本手段である。点の散らばりだけでなく、曲線形、段差、ばらつきの変化など、配置パターンの意味を読み取ることが重要になる。
ただし、プロットの解釈にはサンプル数やスケールの影響があるため、形式的な閾値に頼りすぎず、他の診断情報と合わせて判断するのが一般的である。
4.1.1 平均構造の見落としの検出
残差が推定値や説明変数の関数として系統的な形を持つと、平均構造の不備が疑われる。たとえば観測値が上がるにつれて残差が徐々に増減する場合、非線形項や適切な変換の不足、交互作用の欠落などが原因として考えられる。
このような兆候は、残差が「偶然の揺らぎ」ではなく「モデルの説明不足」を反映している可能性を示す。
4.1.2 分散構造の変化の検出
残差の散らばりが推定値の大きさに応じて変化する場合、等分散性が破れているか、分散の平均依存構造がモデルに反映されていない可能性がある。漏斗型の視覚パターンはその典型であり、変換による安定化や、分散を扱う枠組みへの拡張が検討対象になる。
また、クラスター単位の分散差がある場合には、群別の診断や階層化モデルの必要性が示唆されることもある。
4.2 外れ値・影響点の検出
残差の大きさが目立つ観測は外れ値候補として扱われる。ただし外れ値は「残差が大きい」だけでなく、モデルの推定結果をどれほど動かすかという影響点としても評価する必要がある。両者は一致しないことがあるため、診断は複合的に行うのが望ましい。
4.2.1 高い残差を持つ観測の扱い
高い残差を示す点は、測定の誤りや入力ミスの可能性、あるいは説明変数の範囲外での振る舞いを含む可能性がある。扱いとしては、まずデータ品質の確認を行い、次にモデルの妥当性（採用した関数形、分散構造）の点検へ進む。
安易な削除はバイアスを招きうるため、統計的な診断と実務的な根拠を併せた意思決定が重要になる。
4.2.2 レバレッジと組み合わせた判断
影響点の評価では、残差の大きさに加えてレバレッジ（説明変数空間での特異性）が重要になる。レバレッジが高い点は推定された係数に強く作用しやすく、残差が大きくなくてもモデルを歪める場合がある。逆にレバレッジが低いなら、残差が多少大きくても推定への影響が限定されることがある。
したがって診断は「逸脱の程度」と「推定への寄与」を同時に捉える方向で設計される。
4.3 ホールドアウト・交差検証との関係
残差診断は訓練データ上での整合性確認に強みを持つ。一方、ホールドアウトや交差検証は汎化性能（未知データでの当てはまり）の評価に適しているため、役割分担がある。両者を突き合わせると、過学習やモデルのミスマッチの検出がより体系化される。
4.3.1 決定係数との違い
決定係数は分散の説明割合を数値化した指標であり、残差プロットが示すような誤差の構造情報とは性質が異なる。高い決定係数が得られても、残差に曲線パターンや分散の変化が存在する場合、モデルの仮定は満たされていない可能性がある。
逆に残差が大きく見える領域があっても、全体の分散説明が十分である場合は、評価の目的に応じて見方が変わる。残差診断は「どこで、どの仮定が崩れているか」を見るための補完的手段として位置づけられる。
4.3.2 汎化性能を示す指標としての残差
残差をそのまま汎化性能の指標とみなすには注意が必要である。訓練データ上の残差は楽観的になりやすいが、ホールドアウト上で計算した残差（予測誤差）は未知データの振る舞いに近い情報を与える。
したがって残差を評価指標として用いる場合でも、データ分割の設計に依存して意味が変わる点を明確にすることが求められる。
4.4 モデル改善へのフィードバック
残差診断は、問題の所在を特定し、次のモデル仕様へ反映するためのフィードバックとして機能する。診断結果は「平均の不備」「誤差分散の誤指定」「誤差の依存性」などのカテゴリに分類でき、そこから具体的な改善案が導かれる。
4.4.1 変数変換と誤差構造の見直し
残差に分散の変化や歪みが見られると、変数変換（例えば対数や冪変換）によって誤差の安定化を図ることがある。また、分散が平均に依存する状況では、確率モデルや分散関数を見直す方向が選ばれる。
さらに外れ値が極端に影響している場合には、頑健推定や誤差分布の変更といった対応が検討対象になる。
4.4.2 分類・回帰の再設計と残差の再評価
目的が回帰として設定されていても、データ生成が本質的に分類的（閾値的）である場合、残差には体系的な形が現れやすい。そこで目的関数やモデルの枠組みそのものを再設計し、分類・回帰の整理をし直すことがある。
枠組みを変更した後は、新しい残差定義に基づいて診断をやり直す。診断対象が変わるため、前回と同じ見方をそのまま持ち込むのではなく、当てはまり仮定の整合性を再確認する必要がある。