1 残差の基礎
残差解析は、統計モデルの適合度を確かめるために、観測された値とモデルが与える予測値との差に注目する方法群である。単に誤差の大きさを見るだけでなく、そこに偏りや構造がないかを調べることで、モデルの仮定がどの程度保たれているかを判断する。
1.1 残差の定義と種類
残差は一般に「観測値 − 予測値」と定義されるが、分析の目的に応じて尺度を整えた派生形が用いられる。これにより、観測ごとの比較をしやすくし、外れた点や異常な振る舞いを見つけやすくなる。
1.1.1 生の残差と標準化残差
生の残差は、最も基本的な差分であり、元の単位を保つ。標準化残差は、残差をそのばらつきで割って尺度をそろえたもので、観測点どうしの大小比較に向く。特に分散が一定でない場面では、生の値だけでは見えにくい異常が、標準化後に明瞭になることがある。
1.1.2 レパラメータ化された残差（学生化・差分型など）
学生化残差は、各点の影響を考慮して残差を調整したもので、外れ値の検出にしばしば使われる。差分型の残差は、ある観測を一時的に除いた場合の予測との差を基にしており、個別点の影響の強さを評価しやすい。これらは単純な残差よりも診断向きで、特異な観測をより鋭敏に捉える。
1.2 残差の役割（当てはまり診断の視点）
残差は、モデルがデータをどれだけ要約できているかを示す副産物ではなく、仮定の妥当性を点検する主要な材料である。残差の並びに規則性がある場合、式の形、誤差の扱い、説明変数の選び方に見直しが必要になる。
1.2.1 系統的誤差の検出
残差が一方向に偏る、曲線状に並ぶ、群ごとにまとまるといった現象は、モデルが一定の構造を取りこぼしている兆候である。これは、線形性の不足、交互作用の欠落、分散の変化など、複数の要因から生じうる。
1.2.2 ランダム性の確認
良い適合では、残差は概ね無秩序に散らばる。明確な周期性や持続的な傾向が見えないかを確かめることは、モデルが未説明の情報を残していないかを知るうえで重要である。ランダムに見えることは、少なくとも既知の構造が十分に取り込まれている一つの目安となる。
2 残差プロファイリング（可視化による診断）
可視化による残差解析は、数値検定よりも先に行われることが多い。図にすることで、平均的な差異だけでは気づきにくい傾向や局所的な異常を、直観的に把握できる。
2.1 残差プロットの作成
残差プロットは、横軸に予測値や説明変数、縦軸に残差をとる基本図である。点の散らばり方を観察するだけで、モデルの欠点に関する初期仮説を立てやすい。
2.1.1 残差 vs 予測値
予測値に対して残差を描くと、予測の大きさによって誤差の性質が変わるかを確認できる。扇形に広がるなら分散の変化が疑われ、曲線的なうねりがあれば関数形の不適合が考えられる。
2.1.2 残差 vs 観測値（または説明変数）
観測値や説明変数との関係を見ると、特定の領域で誤差が大きいかどうかが分かる。ある変数に沿って偏りが出る場合、その変数の扱い方、あるいは欠けている要因の存在を再検討する手がかりになる。
2.2 様式（パターン）別の解釈
残差の図形的な様式は、モデルの問題点を分類するための重要な手掛かりである。個々の点よりも、全体の配置や帯の形状を重視して読むのが基本となる。
2.2.1 線形性の破れの兆候
残差が直線的な中心線の周囲に無作為に散らばらず、湾曲した軌跡を描くときは、線形モデルが不十分な可能性がある。説明変数の変換や、非線形項の導入が検討される。
2.2.2 分散の不均一（ヘテロスケダスティシティ）の兆候
残差の散らばり方が、予測値の増加とともに広がったり狭まったりする場合、分散一定の仮定が崩れていることがある。こうした不均一性は、推定の精度や検定の信頼性に影響するため、注意が必要である。
2.2.3 系統的な曲線パターンの意味
滑らかな波形やS字状の並びは、単なる偶然よりも、潜在的な構造の欠落を示すことが多い。たとえば、交互作用、時点効果、群の違いなどが考慮されていないと、残差に規則が残りやすい。
2.3 正規性を確認する図
残差の分布形状を視覚的に確認することは、正規性の仮定を点検するうえで有用である。図は検定より柔軟で、歪みや裾の重さを把握しやすい。
2.3.1 Q-Qプロット
Q-Qプロットは、残差の分位点を理論分布の分位点と比べる図である。点がほぼ直線上に並べば整合的で、端が大きく曲がる場合は裾の違いや歪度の存在が示唆される。
2.3.2 ヒストグラムと密度推定
ヒストグラムは残差の全体的な形を、密度推定は滑らかな輪郭を示す。中央の山がずれている、左右の尾が非対称であるといった特徴は、正規分布からのずれを理解する助けになる。
3 残差の統計的検定・診断
図による観察に加え、残差には統計的な検定を適用できる。これにより、見た目の印象を補強し、仮定の破れをより体系的に評価できる。
3.1 誤差分布・正規性に関する検討
多くの古典的手法では、誤差分布に関する仮定が推定や推測の基礎に置かれる。そのため、残差の分布がどの程度この想定に近いかを確かめることが重要である。
3.1.1 正規性の検定（代表例）
正規性の検定には、シャピロ・ウィルク検定などの代表例がある。これらは分布の形が正規に近いかを数値的に判定するが、標本が非常に大きいとわずかな差でも有意になりやすい。
3.1.2 近似の妥当性と注意点
正規性からの小さな逸脱が、必ずしも実務上の問題を意味するとは限らない。推定量の頑健性、標本サイズ、目的とする推測の種類を踏まえて、どの程度の近似が許容されるかを判断する必要がある。
3.2 独立性・相関の評価
残差同士が独立であるという仮定は、時系列や空間データでは特に崩れやすい。相関が残ると、有効な情報量を過大に見積もるおそれがある。
3.2.1 残差の自己相関の点検
自己相関は、近い順序の残差が似た値をとる現象である。ラグをとった散布図や自己相関関数を調べることで、連続した観測の依存関係を把握できる。
3.2.2 時系列・空間データでの見方
時系列では、時間の流れに沿った持続的な変動が残差に現れやすい。空間データでは、近接地点どうしの似通いが問題となる。いずれも独立性の仮定をそのまま適用せず、構造化された誤差として扱う視点が必要である。
3.3 分散一定性の検討
分散が一定であるかどうかは、推定の安定性に関わる。ばらつきが系統的に変化する場合、標準誤差や信頼区間の解釈が揺らぐことがある。
3.3.1 ヘテロスケダスティシティ検定（代表例）
分散不均一の検定には、ブリューシュ・ペーガン検定やホワイト検定などがよく用いられる。これらは残差の二乗の振る舞いを利用して、説明変数に応じたばらつきの変化を検出する。
3.3.2 ロバスト手法への接続
分散一定が成り立たない場合でも、ロバスト標準誤差や加重最小二乗などで推論を補正できることがある。これはモデル全体を直ちに棄却するのではなく、推測の部分を安定化させる実務的な対応である。
4 問題の特定と改善への導き
残差解析の価値は、欠点を見つけるだけでなく、改善の方向を具体化できる点にある。診断結果をそのまま解釈に終わらせず、モデルの再設計へつなげることが重要である。
4.1 外れ値・影響点の検出
外れ値は、予測から大きく外れる観測であり、影響点は、1点の存在が推定結果を大きく変える観測を指す。両者は重なることもあるが、必ずしも同一ではない。
4.1.1 クック距離と影響度の考え方
クック距離は、ある点を除いたときの回帰係数の変化量をまとめて測る指標である。値が大きい点は、平均的な適合だけでなく、推定そのものを左右している可能性がある。
4.1.2 外れ値の原因切り分け（計測・入力・モデル）
異常な残差が見つかった際は、それが測定ミス、入力の誤り、あるいはモデルの不備のどれに由来するかを分けて考える。原因によって対応は異なり、単純な除外ではなく、記録の確認や式の再検討が必要になる。
4.2 モデル修正の方向性
残差に構造が残る場合、モデルは修正可能であることが多い。変数の追加や変換、誤差構造の変更によって、当てはまりの改善が期待できる。
4.2.1 変数追加・変換（非線形化への対応）
欠落した説明変数を加えると、残差に残っていた偏りが減ることがある。また、対数変換や多項式項の導入により、曲線的な関係を表現しやすくなる。こうした調整は、データの意味を保ちながら関係を柔軟に表す手段である。
4.2.2 誤差構造の変更（分散モデル、相関構造）
誤差のばらつきや依存性に特徴がある場合は、平均構造だけでなく誤差構造を見直す。分散を説明するモデルや、相関を組み込んだ枠組みを使うことで、残差の規則性をより適切に扱える。
4.3 残差解析の実務的ワークフロー
残差解析は一回で終わる作業ではなく、診断と修正を繰り返す反復過程である。仮説を立て、モデルを更新し、再び残差を確認する流れが基本となる。
4.3.1 診断→仮説→再推定→再診断の反復
まず図や検定で問題を見つけ、次にその原因について仮説を置く。そのうえでモデルを再推定し、残差が改善したかを再確認する。この循環によって、修正の妥当性を段階的に確かめられる。
4.3.2 レポート作成と再現性の確保
診断結果は、図、指標、判断理由を含めて記録することが望ましい。使用した手順や設定を明示しておけば、同じ解析を再実行しやすくなり、結果の説明責任も果たしやすい。