1 基本的な概念
残差平方和は、観測された値とモデルが与える値との差を基にした指標で、回帰分析や推定問題で広く用いられます。各データ点について残差を求め、それを二乗して合計したものがこの量です。モデルの説明力を要約する簡潔な尺度として位置づけられます。
1.1 定義
残差平方和は、各観測値から対応する予測値を引いた差を二乗し、その総和として定義されます。通常は、英語の residual sum of squares に対応する量として扱われます。記号は文献によって異なりますが、回帰の当てはまりを表す基本指標の一つです。
1.2 残差との関係
残差は、個々の観測値がモデルからどれだけずれているかを示します。残差平方和は、そのずれを集約した値であり、正負の相殺を避けるために二乗が用いられます。これにより、誤差の大きさを非負の尺度として比較できます。
1.3 二乗和としての意味
二乗和にすることで、大きなずれがより強く反映されます。また、数学的な扱いがしやすく、最小化問題や分解式の導出に適しています。統計解析では、こうした性質が最小二乗法の基盤になっています。
2 数学的な表現
残差平方和は、単純な加算で表せる一方、行列を用いると多変量の状況にも自然に拡張できます。数式表現は、モデルの種類や記法に応じて少しずつ異なりますが、中心となる考え方は共通です。
2.1 一般形
一般には、各残差を \(e_i\) とすると、残差平方和はそれらの二乗の合計 \(\sum_i e_i^2\) で表されます。ここで \(e_i\) は観測値と予測値の差です。標本数が増えるほど、合計値はデータの規模の影響を受けやすくなります。
2.2 行列による表現
線形回帰では、観測ベクトルと予測ベクトルの差を残差ベクトルとしてまとめられます。そのとき残差平方和は、残差ベクトルの内積として書けます。行列表現を使うと、計算の整理だけでなく、理論的な性質の検討もしやすくなります。
2.3 観測値と予測値の差
この指標は、実測値がどの程度モデルの予測から外れているかを直接反映します。差が小さければ、モデルは各点を比較的よく再現していると考えられます。逆に、差が大きい観測が多いほど、総和は増加します。
3 統計解析での役割
残差平方和は、推定、検定、比較の各場面で中心的な役割を担います。特に、モデルの良否を数値化する際に使われ、複数の候補を比べる手がかりになります。統計学の多くの手法で、表舞台に現れる量です。
3.1 最小二乗法との関係
最小二乗法は、残差平方和を最小にするようにパラメータを選ぶ方法です。これにより、観測データに最も近いとみなせるモデルが得られます。線形モデルでは、この最小化が解析的に扱えることが多く、理論と実用の両面で重要です。
3.2 回帰分析での利用
回帰分析では、説明変数から応答変数を予測したときの誤差評価に用いられます。残差平方和が小さいほど、回帰式がデータに適合していると解釈されます。ただし、変数を増やせば値が下がりやすいため、単独では十分な判断材料にならない場合があります。
3.3 分散分析での利用
分散分析では、データのばらつきを複数の成分に分けて考えます。その際、残差平方和は未説明の変動を表す量として現れます。要因の効果と誤差の区別を行ううえで、基本的な構成要素です。
3.3.1 誤差平方和との関係
誤差平方和は、しばしば残差平方和と近い意味で使われます。文脈によっては、モデルで説明できない部分のばらつきを指し、残差の二乗和として現れます。両者の用法は場面により重なりますが、厳密には対象とする設定に注意が必要です。
3.3.2 全変動の分解
分散分析や回帰分析では、全体の変動を説明された部分と残差部分に分ける考え方が用いられます。残差平方和は、その分解における未説明部分を表します。この分解により、モデルがどれだけ変動を捉えたかを整理できます。
4 性質と解釈
残差平方和は、数値が小さいほど良い適合を示す一方、単純な比較には限界もあります。データ数や説明変数の数、応答変数の尺度によって解釈が変わるため、文脈を踏まえた判断が必要です。
4.1 小さい場合の意味
値が小さいときは、観測値と予測値の差が全体として抑えられていることを示します。モデルがデータの傾向をよく捉えている場合に見られます。とはいえ、過剰適合の可能性もあるため、他の指標と併せて確認するのが一般的です。
4.2 大きい場合の意味
値が大きい場合は、モデルが十分に変動を説明できていない可能性があります。予測のずれが広く残っている状態と考えられます。ただし、観測値の尺度が大きいと総和も増えやすいため、絶対値だけで優劣を断じるのは適切ではありません。
4.3 モデル適合度との関係
残差平方和は、モデル適合度を考える際の基礎的な材料です。適合度が高いモデルでは、この値が相対的に小さくなる傾向があります。もっとも、複雑なモデルほど値が小さくなりやすいため、比較には補助的な基準が必要です。
4.3.1 決定係数との関係
決定係数は、全変動のうちモデルが説明した割合を表します。残差平方和はその反対側、つまり説明できなかった部分に対応します。両者は全変動の分解を通じて結びついています。
4.3.2 調整済み指標との比較
調整済みの指標は、説明変数の数による有利さを補正する目的で使われます。残差平方和そのものは単調に小さくなりやすいため、モデル間比較では補正後の尺度が参考になります。これにより、単なる複雑化による見かけ上の改善を抑えられます。
5 計算と評価
残差平方和の算出は、予測値を得て差を取り、それを二乗して合計するという単純な流れで行われます。実務では、ソフトウェアが自動計算することが多いですが、式の意味を理解しておくことが重要です。
5.1 計算手順
まず、各観測に対する予測値を求めます。次に、観測値との差を残差として算出し、その二乗を加えます。最後に、すべての二乗値を合計すれば残差平方和になります。
5.2 推定値への依存
この量は、採用したモデルや推定されたパラメータに強く依存します。推定方法が異なれば、同じデータでも残差平方和は変わります。したがって、数値だけでなく、どのモデルに基づく結果かを確認する必要があります。
5.3 比較時の注意点
異なるデータセットや異なる尺度の変数を直接比べると、解釈を誤るおそれがあります。また、説明変数の数が増えると、一般に値は小さくなりやすいです。そのため、比較では条件をそろえ、必要に応じて補助的な指標を用いることが望まれます。
6 関連項目
残差平方和は、平方和や残差、予測誤差といった概念と密接に関係します。これらをあわせて理解すると、回帰や分散分析の構造が見えやすくなります。
6.1 平方和
平方和は、数値の二乗を足し合わせた一般的な概念です。残差平方和は、その応用例の一つです。統計では、全変動や説明変動を扱う際にも広く登場します。
6.2 残差
残差は、観測値とモデル予測の差を表します。残差平方和は、その残差を二乗して集約したものです。個々の残差を見ることで、どの観測が強く影響しているかも把握できます。
6.3 予測誤差
予測誤差は、予測と実際の値のずれを一般に指す表現です。残差はその中でも、推定済みモデルに対するズレを意味します。残差平方和は、そうした誤差の大きさをまとめて評価する指標です。