1 定義と基本式
1.1 数学的定義
平均二乗誤差（Mean Squared Error, MSE）は、真の値と推定値との差（誤差）の二乗について、その期待値を取ったものである。統計学では推定量の良さを測る尺度として、機械学習では予測モデルの性能を評価する指標として用いられる。数学的には、真の値をθ、推定値をθ̂としたとき、MSEはE[(θ̂ − θ)²]と定義される。
1.2 離散型と連続型の表記
離散型の場合、N個のデータ点に対するMSEは(1/N)Σᵢ(yᵢ − ŷᵢ)²で表される。ここでyᵢは真の値、ŷᵢは推定値である。連続型の場合は、確率密度関数f(x)を用いて∫(y − ŷ)²f(x)dxとして定義される。両者とも基本的な考え方は同じであり、誤差の二乗の平均を取る点で一致する。
1.3 標本MSEと母集団MSE
標本MSEは観測されたデータから計算される実用的な指標であり、上記の離散型の式で直接求められる。一方、母集団MSEは確率分布全体に対する理論的な期待値であり、推定量の統計的性質を議論する際に用いられる。標本MSEは母集団MSEの不偏推定量ではないことに注意が必要である。バイアス補正を施した調整済みMSEが用いられることもある。
2 性質と解釈
2.1 非負性と最小値
MSEは常に非負の値を取る。二乗操作により誤差の符号が無視されるため、過大推定と過小推定の区別は失われるが、絶対的な誤差の大きさを評価できる。理論上の最小値は0であり、これは推定が真の値と完全に一致した場合に達成される。ただし、現実のデータではノイズの存在により0を達成することは稀である。
2.2 単位とスケール依存性
MSEは誤差を二乗するため、元のデータの単位の二乗を単位として持つ。例えば、データがメートル単位で測定されていれば、MSEの単位は平方メートルとなる。このスケール依存性により、異なるデータセット間でMSEを直接比較することは適切ではない。スケール不変な指標が必要な場合は、正規化されたMSEや決定係数が用いられる。
2.3 外れ値に対する感度
MSEは二乗操作により大きな誤差を強調する特性を持つ。外れ値が存在する場合、その影響が通常のデータ点よりも強く反映される。例えば、誤差が10の点は誤差が1の点の100倍の寄与をMSEに与える。この性質は、外れ値の検出を重視する場合には利点となるが、ロバスト性を求める場合には欠点となる。
2.4 バイアス–バリアンス分解
2.4.1 バイアス項
バイアス項は推定値の期待値と真の値との差の二乗、すなわち(E[θ̂] − θ)²で表される。バイアスが大きい場合、推定値は真の値から系統的にずれていることを示す。モデルが単純すぎる場合（過少適合）にバイアスが大きくなる傾向がある。
2.4.2 バリアンス項
バリアンス項は推定値の分散、すなわちE[(θ̂ − E[θ̂])²]である。バリアンスが大きい場合、推定値はデータの変動に敏感で、異なる訓練データセットに対して大きく変動する。モデルが複雑すぎる場合（過適合）にバリアンスが大きくなる傾向がある。
2.4.3 分解の応用
MSEはバイアス項とバリアンス項の和として分解できる：MSE = Bias² + Variance。この分解はモデル選択の際のトレードオフを理解する上で重要である。モデルの複雑さを増すとバイアスは減少するがバリアンスは増加し、その和であるMSEには最小値が存在する。適切なモデル複雑度を選択する際の理論的根拠となる。
3 関連指標との比較
3.1 平均絶対誤差（MAE）
平均絶対誤差（MAE）は誤差の絶対値の平均を取る指標であり、MSEと同様に推定精度を評価する。MAEは外れ値に対してMSEよりもロバストである。一方、微分可能でないため最適化が困難な場合がある。単位は元のデータと同じであり、解釈が容易である。
3.2 二乗平均平方根誤差（RMSE）
二乗平均平方根誤差（RMSE）はMSEの平方根を取った値であり、元のデータと同じ単位を持つ。RMSEはMSEと比較して直感的な解釈が可能で、誤差の典型的な大きさを表す。MSEのスケール依存性を緩和しつつ、外れ値に対する感度は維持される。RMSEが小さいほど予測精度が高いことを示す。
3.3 決定係数（R²）
決定係数（R²）は、モデルの予測がデータの分散をどれだけ説明しているかを表す指標である。R² = 1 − (MSE / Var(y))で定義され、値が1に近いほどモデルの適合度が高い。MSEが絶対的な誤差の大きさを示すのに対し、R²は相対的な説明力を示す。ただし、R²はモデルの複雑さに対して単調増加するため、変数選択には調整済みR²が用いられる。
3.4 平均二乗誤差と損失関数
機械学習においてMSEは、回帰問題の代表的な損失関数として使用される。MSEを最小化することは、誤差が正規分布に従う場合の最尤推定と等価である。確率的勾配降下法などの最適化手法との親和性が高く、広く実装されている。クラス分類問題では交差エントロピー損失が用いられるが、MSEも使用可能である。
4 応用と実践
4.1 回帰分析における損失関数
回帰分析では、MSEを最小化するようにモデルのパラメータを推定する。線形回帰の場合、最小二乗法はMSEを最小化する閉形式の解を与える。一般化線形モデルや非線形回帰でもMSEは主要な損失関数として用いられる。実務では、訓練データに対するMSEとテストデータに対するMSEを比較することで、過適合の有無を診断する。
4.2 機械学習モデルの評価
機械学習では、モデルの汎化性能を評価するためにテストデータセットに対するMSEが用いられる。交差検証（クロスバリデーション）により、複数のデータ分割に対するMSEの平均を計算することで、より安定した評価が可能となる。ハイパーパラメータのチューニングにおいても、MSEは目的関数として頻繁に使用される。
4.3 推定量の性能評価
統計学では、点推定の性能を評価する際にMSEが用いられる。不偏推定量であればMSEは分散に等しくなり、最尤推定量の漸近的性質を議論する際にも基準となる。複数の推定量を比較する場合、MSEが小さい方が望ましい推定量とされる。ただし、MSEは推定量のバイアスと分散の両方を考慮している点が重要である。
4.4 時系列分析と予測評価
時系列データの予測モデルを評価する際にもMSEは標準的な指標である。将来の値を予測する場合、予測誤差の二乗平均を計算することでモデルの精度を評価する。自己回帰モデル（ARIMAなど）やニューラルネットワークによる時系列予測では、MSEを最小化するように学習が行われる。季節調整やトレンド除去の効果をMSEの変化で確認することも多い。
5 発展的な話題
5.1 重み付き平均二乗誤差
重み付き平均二乗誤差（Weighted MSE）は、各データ点に異なる重みを割り当てた指標である。誤差の重要度が異なる場合や、観測の信頼性が不均一な場合に用いられる。定義は(1/N)Σᵢwᵢ(yᵢ − ŷᵢ)²で与えられ、wᵢは非負の重みである。重みがすべて等しい場合は通常のMSEに一致する。
5.2 正則化との関係（リッジ回帰など）
リッジ回帰では、損失関数にMSEに加えてパラメータの二乗ノルムを正則化項として追加する。これにより、MSEのバイアス-バリアンス分解におけるバリアンスを低減し、過適合を防ぐ。正則化パラメータを調整することで、MSEのトレードオフを制御できる。LASSO回帰ではL1正則化を用い、変数選択の効果を持つ。
5.3 ベイズ推定とMSE
ベイズ推定では、事後分布の平均を推定値とした場合、MSEを最小化する点推定が得られる。これは、損失関数として二乗誤差を採用した場合のベイズ決定則に相当する。事後予測分布を用いた予測でもMSEは評価基準として用いられ、ベイズモデル平均によりMSEを改善する手法も存在する。MCMC法などの計算手法により、複雑なモデルでもベイズ推定が可能となっている。