1 残差診断の基礎
残差診断は、推定済みの統計モデルについて、観測値と予測値のずれを点検し、仮定の妥当性や適合の程度を確かめる作業である。回帰分析をはじめ、多くのモデルで用いられ、単に当てはまりの良し悪しを数値で評価するだけでなく、構造上の不備を見つける役割を担う。
1.1 残差の定義
残差は、実測値からモデルが与える予測値を引いた差として定義される。符号を持つため、予測が過大であったのか過小であったのかを区別できる。基本的には誤差の観測可能な代替量として扱われる。
1.2 残差診断の目的
この手法の主目的は、モデルがデータの傾向を適切に表しているかを確認することである。残差に規則的な形が残っていれば、説明不足や仮定違反が疑われる。また、異常に大きなずれを示す観測を見つけることで、データ品質の再点検にもつながる。
1.3 モデル評価との関係
残差診断は、推定後の評価手続きの一部として位置づけられる。適合度指標が全体的な成績を示すのに対し、残差の観察は局所的な問題を明らかにしやすい。したがって、両者を併用することで、より実践的な判断が可能になる。
2 残差診断で確認する仮定
多くの統計モデルでは、いくつかの基本仮定が置かれる。残差診断は、それらが経験的に大きく外れていないかを調べるために行われる。代表的なのは、線形性、等分散性、正規性、独立性である。
2.1 線形性
線形性とは、説明変数と応答変数の関係が、モデルで仮定した形におおむね沿っていることを指す。残差が特定の曲線的な配置を示さないかを見れば、この仮定の妥当性をある程度判断できる。
2.1.1 線形性の逸脱
残差が湾曲した帯を作る場合、直線関係だけでは表せない可能性がある。例えば、二次的な傾向や飽和的な動きがあると、系統的なずれが残りやすい。この場合は、項の追加や変数変換が検討される。
2.2 等分散性
等分散性は、予測値の水準にかかわらず残差の散らばり方がほぼ一定であるという性質である。これが保たれていないと、推定の精度や検定結果の信頼性に影響することがある。
2.2.1 分散不均一の兆候
残差の広がりが、予測値の増加とともに扇形に広がる場合などは、分散不均一が疑われる。時間や尺度の違いによって散らばり方が変わることもある。こうした場合には、重み付けや分散構造の見直しが有効となる。
2.3 正規性
正規性は、誤差や残差が正規分布に近いという仮定であり、特に小標本では重要性が高い。推定値そのものよりも、区間推定や仮説検定の性質に影響しやすい。
2.3.1 分布の偏り
残差分布が左右どちらかに偏っていたり、裾が極端に長かったりすると、正規性からのずれが示唆される。歪度や尖度の違いが表面化することもある。こうした偏りは、外れ値やモデルの形状不足とも関連しうる。
2.4 独立性
独立性とは、ある観測の残差が他の観測の残差に系統的に依存しないことを意味する。時系列や空間データでは、この仮定が特に問題になりやすい。
2.4.1 自己相関
残差が時間順に似た動きを示すと、自己相関が存在する可能性がある。連続した正負の偏りが続く場合や、波状の並びが見える場合が典型例である。こうしたときは、遅れ項や相関構造を組み込む必要がある。
3 残差診断の主な方法
残差診断には、視覚的確認と数値的指標の双方がある。図表を用いる方法は直感的で、異常の位置や形を把握しやすい。一方、統計量は比較や要約に役立つ。
3.1 残差プロット
残差プロットは、残差を横軸または縦軸に配置して、体系的な偏りやばらつきの変化を調べる図である。最も基本的な診断手段の一つで、モデルの不自然な構造を発見しやすい。
3.1.1 予測値に対する残差プロット
予測値に対して残差を描くと、適合の乱れが全体的に見える。点が無作為に散らばっていれば大きな問題は少ないが、曲線や漏斗状の形があれば注意が必要である。パターンの有無が解釈の中心となる。
3.1.2 説明変数に対する残差プロット
個々の説明変数を横軸に取ると、その変数に関する非線形性や局所的な異常が見やすくなる。複数変数モデルでは、どの要因がずれに関与しているかを切り分けるのに有用である。交互作用の見落としも示唆されることがある。
3.2 正規確率図
正規確率図は、残差の分位点を理論上の正規分布と比較する図である。点がほぼ直線上に並べば、正規性に大きな問題はないと解釈される。端の部分だけが大きく外れる場合は、裾の重さや外れ値を疑う。
3.3 影響点と外れ値の確認
一部の観測は、残差が大きいだけでなく、推定結果全体に強い影響を及ぼすことがある。そのため、残差だけでなく、影響の強さや位置づけも併せて確認する必要がある。
3.3.1 標準化残差
標準化残差は、残差をその標準偏差で尺度調整したもので、異常値の比較に使いやすい。尺度がそろうため、他の観測と相対的に見比べやすい。絶対値が大きい点は、注意深く調べる対象となる。
3.3.2 レバレッジ
レバレッジは、説明変数の配置において、その観測がどれだけ特異な位置にあるかを示す概念である。高いレバレッジを持つ点は、少しの残差でも推定直線や曲線を大きく動かすことがある。したがって、影響力の評価に欠かせない。
3.3.3 クック距離
クック距離は、ある観測を除いたときに推定結果がどれほど変わるかを要約する指標である。残差の大きさとレバレッジの双方を考慮する点に特徴がある。大きな値を示す観測は、モデル全体への影響が強い可能性を持つ。
4 残差診断の解釈と対応
診断は、異常を見つけることだけで終わらない。結果をどう読み取り、どのようにモデルへ反映させるかが重要である。問題の種類に応じて、修正方針を選ぶ必要がある。
4.1 問題の検出
残差診断で見つかる問題には、関係の非線形性、分散の不均一、分布の歪み、依存構造、影響の強い観測などがある。これらはしばしば同時に現れるため、一つの図だけで結論を急ぐべきではない。複数の視点を合わせて判断することが望ましい。
4.2 モデル修正の方針
問題が確認された場合は、目的に応じてモデルを調整する。修正は、単純な見直しから構造変更まで幅がある。診断結果と実質的な解釈の両方を踏まえて選択することが大切である。
4.2.1 変数変換
対数変換や平方根変換などを施すと、曲線的な関係や分散の不均一が緩和されることがある。尺度を変えることで、分布の歪みが和らぐ場合もある。変換後は、再度残差を確認する必要がある。
4.2.2 モデルの再指定
説明変数の追加、交互作用の導入、非線形項の採用などにより、記述不足を補えることがある。時系列であれば自己相関を扱う構造を組み込むこともある。再指定は、データに対する仮定をより適切に整える手段である。
4.2.3 頑健な手法の利用
外れ値や仮定違反の影響が強い場合には、頑健推定やロバストな分散推定を用いることがある。これにより、少数の極端な観測に結果が左右されにくくなる。完全な解決ではないが、実務上の安定性を高めやすい。
4.3 診断結果の報告
診断結果を報告する際は、用いた手法、見つかった特徴、採った対応を明確に示すことが求められる。図の印象だけでなく、どの仮定にどの程度の懸念があるかを簡潔に述べると伝わりやすい。再分析を行った場合は、その変更理由も記録しておくとよい。