1 残差分析の基礎
残差分析は、統計モデルが観測データをどの程度うまく表現しているかを点検するための基本的な診断方法である。推定された値と実測値の差に注目し、その大きさだけでなく、偏りや規則性の有無を調べることで、モデルの妥当性を評価する。
この分析は、単に「当たっているか」を確認するだけではない。残差の散らばり方から、見落としている変数、関係の形、分散の変化、例外的な観測などを読み取ることができる。
1.1 残差の定義
残差とは、観測値からモデルの予測値を引いた差である。回帰分析では、各データ点についてこの差を求め、モデルがその点をどれだけ外しているかを数値化する。
一般に残差は、正負の両方向をとる。正の残差は予測より観測値が大きいことを、負の残差はその逆を示す。
1.2 残差分析の目的
残差分析の主な目的は、モデルの前提がどの程度成り立っているかを確かめることである。線形関係、一定の分散、独立性、正規性などの仮定に大きなずれがないかを点検する。
また、予測精度を改善する手がかりを得る役割もある。残差に体系的な偏りが見つかれば、説明変数の追加や変換、別のモデル形式の採用が検討される。
1.3 残差と誤差の違い
誤差は、真の値と観測値の差を指す概念であり、通常は直接観測できない。一方、残差はモデルを当てはめた後に計算される差であり、実際に観測可能である。
この違いは重要である。誤差は母集団の真の構造に関わるが、残差は推定結果に依存するため、同じデータでもモデルが変われば値も変化する。
1.4 残差分析の位置づけ
残差分析は、モデル構築の後に行う診断段階に位置づけられる。推定結果を確定的なものとして扱うのではなく、その適合度を確かめるための検証手続きとして用いられる。
実務では、推定、診断、修正、再推定という流れの中で使われることが多い。したがって、残差分析はモデル選択の終点ではなく、改良のための中間工程といえる。
2 残差の種類
残差にはいくつかの表現があり、目的に応じて使い分けられる。単純な差分をそのまま見る場合もあれば、尺度をそろえて比較しやすくした形を用いる場合もある。
2.1 生残差
生残差は、観測値と予測値の単純な差である。最も基本的で直感的だが、値の大きさは元の変数の尺度に強く依存する。
そのため、異なる観測点の比較や、複数モデルの横断的な検討にはやや不便なことがある。
2.2 標準化残差
標準化残差は、残差を推定されたばらつきで割って尺度を調整したものである。これにより、別々の観測値を相対的に比べやすくなる。
大きく外れた値を見つける際に有用で、残差の分布を把握するための実用的な指標となる。
2.3 学生化残差
学生化残差は、各点の影響を考慮しながら残差を調整した指標である。とくに外れ値の検出に向いており、標準化残差よりも診断に適した場合がある。
データ点ごとのばらつきの見積もりを工夫しているため、単純な標準化よりも個別の異常を捉えやすい。
2.4 予測残差
予測残差は、新しい観測値に対する予測と実測の差を表す。学習済みモデルの汎化性能を評価する場面で特に重要である。
訓練データ上の適合だけでなく、未知データに対してどれだけ安定しているかを確認する指標として使われる。
3 残差分析の手順
残差分析は、計算、可視化、解釈、修正という順序で進めるのが一般的である。数値を出すだけでは十分でなく、図や統計的な観察を通じて構造を読むことが必要になる。
3.1 残差の計算
まず、各観測値について予測値を求め、その差を残差として算出する。回帰モデルであれば、推定された係数を用いて各点の予測値を計算する。
この段階では、モデルの仕様が正しく実装されているかも確認される。計算ミスや変数の取り違えがあると、その後の診断が無意味になる。
3.2 残差の可視化
残差は、数値一覧よりも図で見るほうが特徴を捉えやすい。散布、分布、順序変化などを確認することで、見えにくい偏りを把握できる。
3.2.1 散布図による確認
散布図では、残差と予測値、あるいは残差と説明変数の関係を見て、規則的な形がないかを調べる。曲線状の並びや扇形の広がりは、モデルの不足を示唆することがある。
点がランダムに散らばっていれば、少なくとも目視上は大きな偏りが少ないと判断される。
3.2.2 ヒストグラムによる確認
ヒストグラムは、残差の分布の形を確認するために用いられる。左右対称性、裾の長さ、極端な値の有無を把握しやすい。
正規分布に近い形であれば、モデルの仮定に大きな問題がない可能性が高い。ただし、分布形だけで結論を出すのは早計である。
3.2.3 正規確率図による確認
正規確率図は、残差が正規分布に従うかを視覚的に調べる方法である。点がほぼ直線上に並べば、正規性はおおむね支持される。
端の部分で大きく曲がる場合は、裾の重さや歪みが疑われる。極端な観測値があると、図の形にも強く反映される。
3.3 パターンの解釈
残差に一定のパターンが見えるときは、偶然ではなく構造的なずれを疑う。たとえば、予測値が大きくなるほど残差の振れ幅が広がるなら、分散の不均一が考えられる。
また、周期的な上下動があれば、時系列的な依存や季節性の取りこぼしが示唆される。重要なのは、どの種類のズレが起きているかを区別して読むことである。
3.4 モデル修正への反映
診断の結果は、モデル修正に結びつけて初めて意味を持つ。非線形性が見つかれば変数変換や項の追加、分散の不均一があれば重み付けや別手法の検討が行われる。
残差分析は、問題点の発見と改善案の選択をつなぐ橋渡し役でもある。修正後は再度残差を調べ、改善が実際に効いているかを確かめる。
4 残差分析で確認する事項
残差分析では、モデルの基本仮定に関わる複数の観点を点検する。これらは互いに独立ではなく、ひとつの問題が別の異常として現れることもある。
4.1 線形性の検討
線形性は、説明変数と目的変数の関係が直線で近似できるかを意味する。残差に曲線的な配置が見える場合、直線モデルでは関係を十分に捉えられていない可能性がある。
この場合、二次項や対数変換などを導入することで、表現力を高められることがある。
4.2 等分散性の検討
等分散性とは、説明変数の値にかかわらず残差のばらつきがほぼ一定であることを指す。残差プロットで扇形や漏斗形が見えると、分散が変化していると考えられる。
等分散性が崩れると、推定の精度や検定結果の信頼性に影響することがある。
4.3 正規性の検討
正規性は、残差が正規分布に近いかどうかを調べる仮定である。推定や検定の理論的基盤に関わるため、特に小標本では注意が必要になる。
ただし、実務では厳密な正規性よりも、極端な歪みや外れた裾がないかを重視することも多い。
4.4 独立性の検討
独立性は、ある残差が他の残差と系統的に関連していないことを意味する。時系列データでは、この条件が破れやすい。
残差に連続した偏りがある場合、モデルが時間的構造を取りこぼしている可能性がある。
4.5 外れ値と影響点の検討
外れ値は、他と比べて極端な残差を示す観測である。影響点は、モデル全体の推定結果を大きく動かす観測を指す。
両者は同じではない。残差が大きいだけでは影響が大きいとは限らず、説明変数の配置によって推定に与える作用は変わる。
5 回帰分析における残差分析
回帰分析では、残差分析がモデル評価の中心的な手段となる。線形か非線形か、説明変数が適切か、推定が安定しているかを確かめるために使われる。
5.1 単回帰分析
単回帰では、ひとつの説明変数と目的変数の関係をみるため、残差の解釈が比較的わかりやすい。残差に曲がりが見えるなら、単純な直線では表しきれない可能性が高い。
点数が少ない場合でも診断は有効だが、サンプルが小さいと偶然の影響を受けやすい。
5.2 重回帰分析
重回帰では、複数の説明変数が同時に入るため、残差の原因も複雑になる。ある変数の不足が別の変数の効果として現れることもある。
このため、個別の残差パターンだけでなく、変数間の関係や多重共線性にも注意しながら解釈する必要がある。
5.3 非線形回帰
非線形回帰では、モデル自体が曲線的な関係を想定する。残差が系統的に残るなら、関数形がまだ不十分であることを意味する。
適切な非線形形式を選べば、残差の偏りが減り、当てはまりが改善することがある。
5.4 ロジスティック回帰
ロジスティック回帰では、目的変数が二値であるため、通常の連続変数の回帰とは診断方法がやや異なる。残差は、予測確率と実際の分類結果のズレとして評価される。
この分野では、残差だけでなく逸脱度や適合度指標も併用されることが多い。
6 時系列データにおける残差分析
時系列では、観測順序そのものが意味を持つため、残差の独立性や時間的構造の確認が重要になる。単純な誤差評価だけでは、モデルの不足を見逃しやすい。
6.1 自己相関の確認
自己相関は、ある時点の残差が近い時点の残差と関連している状態を指す。これが強いと、モデルが時間依存を十分に表現していない可能性がある。
自己相関の有無は、残差の時系列プロットや相関関数を通じて確認される。
6.2 季節性の残差への影響
季節性があるデータでは、周期的な変動が残差に残ることがある。月ごとの売上や気温のような系列では、季節要因を入れないと残差に一定周期の模様が現れやすい。
このような場合、季節項の追加や季節調整が検討される。
6.3 予測モデルの診断
時系列予測モデルでは、残差が予測不能なランダム変動に近いかを確かめることが重要である。予測後に残る規則性は、モデルの説明不足を示す。
実務では、学習期間と検証期間を分け、予測残差の振る舞いを比較することが多い。
6.4 残差の白色雑音性
白色雑音性とは、残差が平均ゼロで、相関を持たず、一定の分散を保つ状態をいう。これに近いほど、モデルが主要な構造を捉えていると解釈しやすい。
完全な白色雑音は理想であり、現実には近似的に評価することになる。
7 機械学習における残差分析
機械学習では、残差分析は性能評価と改善点の発見に役立つ。回帰だけでなく、予測値と実測値の違いを使ってモデルの偏りを調べる場面が多い。
7.1 予測誤差の評価
予測誤差は、モデルの出力と正解とのずれを示す。平均的な誤差の大きさを見るだけでなく、どの条件で失敗しやすいかを知ることが重要である。
残差の分布が一様でない場合、特定の領域で性能が低下している可能性がある。
7.2 モデルの過学習検出
過学習したモデルは、学習データでは良好でも、未知データでは残差が大きくなることがある。訓練残差と検証残差を比べると、その差が手がかりになる。
残差が訓練では小さく、検証では大きいときは、モデルがデータの細部に過度に合わせている可能性がある。
7.3 特徴量不足の検出
残差に明確な構造が残るとき、入力特徴量が不足している場合がある。説明変数として必要な情報が欠けていれば、誤差は体系的に残りやすい。
このときは、変数の追加、交互作用の導入、特徴量設計の見直しが検討される。
7.4 残差を用いた改善方法
残差分析の結果は、モデル再設計の出発点になる。学習手順の変更、正則化の調整、モデルクラスの切り替えなどを通じて改善を図る。
改善後には再び残差を確認し、以前見られた偏りが減ったかを比較することが望ましい。
8 残差分析の可視化手法
残差の理解には、図示が大きな役割を果たす。数値要約だけでは見えない偏りや局所的な異常が、図では明瞭になることがある。
8.1 残差プロット
残差プロットは、残差を縦軸に取り、予測値や説明変数を横軸に置いて描く図である。最も基本的な診断図として広く使われる。
散らばりが無秩序であれば、モデルの仮定は比較的満たされていると考えられる。
8.2 予測値対残差プロット
予測値対残差プロットでは、予測の大きさに応じて残差の振る舞いを確認する。予測値が大きくなるほど散らばりが広がる場合、分散の不均一が疑われる。
また、曲線的な傾向が見えれば、関数形の見直しが必要になることがある。
8.3 正規性確認の図示
正規性の確認では、ヒストグラムや正規確率図がよく使われる。分布の形と理論分布とのずれを直感的に捉えやすい。
これらは定量検定を補う役割を持ち、異常な裾や歪みの早期発見に向いている。
8.4 時系列残差の図示
時系列残差の図示では、残差を時間順に並べて変動を確認する。連続した偏りや周期性が見えれば、時間構造が残っている可能性がある。
この図は、独立性の検討や季節性の見落としを探る際に特に有効である。
9 残差分析の注意点
残差分析は有用だが、解釈には注意が必要である。図の印象だけで断定すると、誤った結論につながることがある。
9.1 標本サイズの影響
標本が少ないと、残差の分布やパターンが不安定になりやすい。少数の外れ値が全体像を強く左右するため、判断が揺れやすい。
一方、標本が大きい場合は、わずかな偏りでも目立つことがある。規模に応じた見方が必要である。
9.2 モデル選択との関係
残差分析は、選んだモデルの良し悪しに強く依存する。あるモデルで異常に見える残差も、別のモデルでは自然に説明できる場合がある。
したがって、残差の問題を見つけたら、モデルの変更可能性を含めて考えるべきである。
9.3 解釈上の限界
残差に何らかの模様があっても、その原因を一意に決められるとは限らない。似たパターンが、非線形性、欠落変数、分散変化など複数の要因で生じることがある。
残差分析は診断の手がかりを与えるが、原因確定には追加の検討が必要である。
9.4 実務上の落とし穴
実務では、見た目の良否だけでモデルを採否する誤りが起こりやすい。図がきれいでも予測性能が十分でないことはあり、逆に多少の仮定違反があっても実用上は十分な場合がある。
また、都合のよい部分だけを見て判断すると、検証の意味が薄れる。複数の観点を合わせて評価することが重要である。
10 応用分野
残差分析は、数理統計に限らず、多様な分野で使われている。モデルを使って現象を記述・予測する場面なら、ほぼどこでも有効である。
10.1 経済学
経済学では、需要、供給、価格、成長率などの関係を調べる際に残差分析が活用される。理論モデルと実データのずれを点検することで、構造の単純化が適切かを検討できる。
景気変動のように複雑な系列では、残差の時間的パターンが重要な情報になる。
10.2 工学
工学分野では、制御、品質管理、信号処理、耐久性評価などで使われる。実測値と理論値の差を分析することで、装置の特性や異常を把握しやすい。
測定誤差や機器の劣化が残差に現れることもあり、保守の判断材料になる。
10.3 医学統計
医学統計では、治療効果の推定や予後モデルの妥当性確認に利用される。観測データに対してモデルがどの程度適切かを検証することで、解釈の信頼性を高める。
特に予測モデルでは、特定の患者群で誤差が偏っていないかを調べることが重要である。
10.4 社会科学
社会科学では、教育、心理、行動、調査データの分析などで残差分析が行われる。理論仮説と実際のデータの不一致を把握し、説明変数の不足や測定の限界を探るのに役立つ。
複数要因が絡む研究では、残差の構造が理論修正のヒントになることが多い。