1 フィッティング誤差の概念
フィッティング誤差とは、観測データに対して回帰・近似・推定などの手法でモデルを当てはめたときに、モデルが出力する予測値と実データの間に生じる差の総称である。差の定義は一致していないが、通常は各観測点の「残差」を基礎に、そこから全体を要約する尺度（誤差指標）へ写像する形で整理される。
実務上の重要点は、どの誤差指標を最小化（あるいは大きくしたくない量として扱う）か、さらにその指標に基づいて推定・最適化の手順が設計されているか、という2点である。同じモデルでも、目的関数や正則化の置き方が異なれば、得られるパラメータや最終的な評価成績は変わる。加えて、データのばらつき（ノイズ）や表現力の不足による系統誤差（バイアス）、過剰適合の発生などが、誤差の大きさや性質として現れる。
1.1 モデル当てはめと残差
モデル当てはめでは、観測データの入力（説明変数）から出力（目的変数）を予測する関数を仮定し、その関数が観測値をどれだけ再現できたかを残差で評価する。残差は一般に、各観測における「実値から予測値を引いた量」として定義される。方向性（実値−予測、または予測−実値）によって符号は変わるが、後段の指標化では符号が消える形が多い。
残差の分布やパターンを眺めることは、単なる誤差の大小よりも解釈に直結する。たとえば残差が入力の特定の領域で偏っているなら、モデルの仮定がその領域で適合できていない可能性がある。残差が均一な散らばりとして近似できるかは、誤差指標の妥当性や後続の統計的推論にも影響する。
1.2 誤差指標の基本
誤差指標は、残差の情報を単一の数値（または複数の数値）へ圧縮する操作である。典型的には、残差そのもの、残差の絶対値、残差の二乗、あるいはその平均や合計といった形で導入される。指標の選択は、外れ値への敏感度や誤差の扱い（符号の無視、スケールの影響）を決める。
また、指標は「どの量を同じ重みで扱うか」にも関わる。例えば観測ごとの重要度が異なる場合、残差の集計に重みを導入する設計が行われる。さらに、入力や目的変数の尺度（単位）に依存する指標を使うかどうかも、比較可能性を左右する。
1.2.1 二乗誤差（残差平方）
二乗誤差は、残差を二乗してから合計あるいは平均した量である。二乗することで符号がなくなり、さらに大きな残差が強く効く性質を持つ。これにより、外れ値に比較的敏感になりやすい。
回帰において最小二乗法が広く使われる背景には、二乗誤差が計算しやすいこと、また多くの統計モデルで自然に現れることがある。加えて、二乗により目的関数が滑らかになりやすく、勾配ベースの最適化との相性も良い。
1.2.2 絶対誤差・絶対残差
絶対誤差は残差の絶対値を用いる指標である。二乗誤差と比べると、大きな残差への罰が相対的に緩やかになるため、外れ値の影響を抑えたい場合に選択されることが多い。
絶対残差を最小化する推定は、最適化上の扱いが二乗誤差と異なる場合がある。絶対値には非微分点が現れ得るため、アルゴリズム設計では工夫が必要になることがある。一方で頑健性の観点から利点が生じる場合がある。
1.2.3 平均誤差と根平均二乗誤差
平均誤差は残差（あるいは誤差）の平均を取り、符号を含めて偏りを評価するための量として扱われる。平均がゼロに近いほど、正負の残差が相殺されていることを示唆するが、外れ値の規模やばらつきは十分に反映されないことがある。
根平均二乗誤差（RMSE）は、二乗誤差の平均の平方根として定義されることが多い。RMSEは二乗誤差の外れ値への強い反応を保持しつつ、平方根によって目的変数と同じ次元（単位）に戻るため、解釈しやすい指標として用いられる。
2 数学的表現
数学的表現では、観測データをベクトルや行列として整理し、残差や目的関数を明確に定義する。これにより、最小化問題としての推定、最適化の性質、確率モデルとの対応関係が扱いやすくなる。
また、モデルが線形か非線形か、出力が単一か複数か、損失関数がどの型かによって、式の形や計算量が変わる。以下では、代表的な表現により全体像を示す。
2.1 観測値と予測値
観測値と予測値の対応関係を明確にすることが、残差の定義を揺らさない鍵になる。通常、観測点を添字で区別し、入力特徴量と目的変数をそれぞれ記号で表す。予測値はモデル関数により算出される。
単変量の回帰では、実数値が直接並ぶため直感的であるが、多次元出力や確率的出力（分布そのものを出すモデル）では、誤差の定義が拡張される。どの拡張を採るかは、損失関数と評価設計に直結する。
2.1.1 残差ベクトル
残差ベクトルは、各観測における残差を縦に並べた対象である。これにより、誤差を線形代数的に扱えるようになり、行列演算で目的関数や勾配を記述できる。
残差ベクトルは、予測値ベクトルから観測値ベクトルを引く、あるいはその逆の形で定義されることが多い。以後の指標では、残差ベクトルの二乗和、絶対値の和などに変換され、最適化の目的として用いられる。
2.1.1.1 行列・線形代数による表記
線形回帰では、設計行列と係数ベクトルを用いて予測を行う。観測ベクトル、予測ベクトル、残差ベクトルを行列形式で記述すると、目的関数（例：二乗誤差）が残差の二乗和として表される。
この形式では、最小二乗解の導出が（条件が満たされる場合に）連立方程式や一般化逆行列へ帰着しやすい。さらに重み付きや正則化付きの拡張も、対応する行列を差し込むだけで整理できるため、理論面と計算面の双方で利便性がある。
2.2 誤差の目的関数
目的関数は、誤差指標を最適化の対象として定式化したものに相当する。実データに対してモデルがどれだけ誤差を小さくできるかを、損失として数値化し、その最小値や最良解を求める。
同じ誤差指標でも、合計か平均か、正規化の有無、重み付けの仕方、正則化項の導入有無で学習結果が変化する。特に正則化は、過剰適合を抑える方向に挙動を誘導する。
2.2.1 最小二乗法
最小二乗法は、二乗誤差を目的関数として最小化する手法である。残差二乗和を小さくすることで、分散の影響を反映しつつ、滑らかな最適化が可能になりやすい。
線形モデルの場合、解は解析的に得られることがあるが、一般には数値最適化で求める枠組みが使われることも多い。データが多変量であっても、残差の二乗和として目的関数が表せるため、計算手順は体系化しやすい。
2.2.2 重み付き誤差
重み付き誤差では、各観測の残差に重みを付けて集計する。目的は、観測ごとの信頼度の違い、測定精度の差、クラス不均衡、重要度の偏りなどに対応することにある。
重みが大きい観測は目的関数への寄与が増えるため、推定はその観測をより重視した方向に偏る。重みの設計は学習の性質を大きく左右するため、根拠（測定条件、データ収集の仕様）に基づいて設定することが望ましい。
2.2.3 正則化付き誤差
正則化付き誤差では、誤差（損失）に加えて、モデルの複雑さを抑える項を目的関数へ足し込む。典型例として、係数の大きさに罰を与える形があり、これにより過剰適合の緩和が期待される。
正則化は、最適化の解を一意にしやすくしたり、学習の安定性を高めたりする効果もある。正則化強度を過度に大きくすると、表現力が不足して系統誤差が増えるため、バランスが重要になる。
2.3 確率的モデルと誤差の対応
確率的モデルでは、観測の生成過程を確率として捉え、誤差は尤度や事後分布の形へ変換される。つまり「どの誤差指標が自然に出てくるか」は、仮定する誤差分布や独立性の前提によって変化する。
この対応関係を理解すると、なぜ二乗誤差が現れるのか、なぜ絶対誤差に基づく推定が妥当になるのか、といった説明がしやすくなる。統計推論や不確実性推定とも接続しやすくなる点が利点である。
2.3.1 ガウス仮定と二乗誤差の関係
観測誤差が正規分布に従うという仮定を置くと、最尤推定の目的関数が二乗誤差（に比例する形）となる。直観的には、誤差が対称で、極端なズレが指数的に小さい確率で発生するため、二乗が合理的に現れる。
この関係は、統計的に安定した推定が期待できる条件が整っている場面で有用である。ただし現実のデータでは誤差分布が歪んだり、外れ値が多かったりすることがあるため、仮定が妥当でない場合は指標の選択を見直す必要が生じる。
2.3.2 有限誤差分布と頑健な指標
誤差分布が正規分布から外れる場合、二乗誤差に基づく最適化は過度に外れ値を重視することがある。そこで、裾の重い分布や、ある種のロバスト性を持つ損失関数を採用する考え方がある。
例えば、外れ値の確率が相対的に高い状況を表す分布では、二乗よりも線形に近い罰則を与える指標が自然に導かれることがある。結果として、推定はデータの中心傾向をより反映しやすくなる。
3 評価と解釈
評価と解釈では、「どれだけ当たっているか」を訓練段階の成績だけで判断しないことが中心テーマになる。一般に訓練データ上の誤差は小さくなりやすく、検証やテストでは別の結果が出る。したがって、汎化性能を反映する手続きが必要となる。
また誤差を単純な一数値として扱うだけでなく、誤差の構成要素（系統誤差、ばらつき、ノイズ）を意識することで、改善の方向を定めやすくなる。
3.1 訓練誤差と検証誤差
訓練誤差は学習に用いたデータで計算した誤差であり、モデルがそのデータに適合している度合いを表す。検証誤差は学習に未使用のデータで計算され、未知データへの性能を推定する役割を持つ。
両者の差が大きい場合、モデルが学習データの特徴に過度に依存している可能性がある。逆に両者とも大きいと、そもそもモデルが表現できていない（あるいはデータが十分でない）ことが疑われる。こうした比較はモデル選択や学習設計の出発点になる。
3.2 誤差分解の考え方
誤差分解は、予測の不一致が複数の要因から生じるという見方を与える。代表的な枠組みでは、モデルの平均的なずれ（バイアス）と、学習手続きによるばらつき（分散）、さらにデータ側のランダム性としてのノイズに分けて理解する。
この見方は、どの改善が効くかを示唆する。例えば、バイアスが大きいならモデルの仮定や表現力を見直す必要があり、分散が大きいなら正則化やデータ拡張が有効になりやすい。ノイズが支配的なら、特徴量改善や計測改善が主な打ち手になる。
3.2.1 バイアスと分散の直観
バイアスは予測の体系的なズレであり、モデルが実データの規則性を捉えきれていない状況で大きくなる。分散は、訓練データの取り方によって推定結果がどれほど揺れるかに関係する。複雑なモデルほど分散が増えやすい傾向がある。
バイアスと分散はしばしばトレードオフの関係として現れる。単純化すれば分散が抑えられる一方でバイアスが増え、複雑化すればバイアスが減る一方で分散が増える、という構図が典型である。この均衡を調整するのが学習設計（正則化、モデル選択、特徴量設計）である。
3.2.2 ノイズの寄与
ノイズは、観測が本来の信号に加えてランダムな揺らぎを持つために避けられない誤差として扱われる。ノイズが大きいほど、どれほど精巧なモデルでも誤差を完全にゼロへはできない。
そのため、実務では「誤差が小さくならない理由」を、モデルの限界かデータのランダム性かに切り分ける必要がある。ノイズが支配的な場合、残差のばらつきや再現不能性が観測され、学習の改善だけでは頭打ちになりやすい。
3.3 過剰適合・過小適合との関係
過剰適合は、モデルが訓練データでは良く当たるが、検証データでは性能が伸びない、あるいは劣化する状態として現れる。過小適合は、訓練でも検証でも誤差が大きい状態で、モデルがデータの構造を捉えきれていない可能性が高い。
誤差指標の選択は、過剰適合の見え方にも影響することがある。外れ値に強く罰を与える指標では、訓練上の小さな改善が必ずしも汎化に繋がらない場合があるため、検証誤差と一貫して比較することが重要になる。
3.3.1 学習曲線による判断
学習曲線は、訓練誤差と検証誤差を、訓練データ量や学習の進行に応じて追跡した図である。訓練誤差が低下しても検証誤差が改善しない場合は、過剰適合の兆候として解釈されることが多い。
逆に、訓練誤差も検証誤差も高いままなら過小適合の可能性がある。学習曲線は原因の切り分けに有用だが、データ分割の不安定さや指標の性質によって見え方が変わるため、他の診断と併用するのが望ましい。
3.3.2 正則化による抑制
正則化は、複雑さの上限を与えることで過剰適合を抑える目的で導入される。正則化強度を調整すると、検証誤差の改善が見られる領域が現れ得る。
ただし過剰な正則化は、モデルの表現を過度に制限して過小適合を招く。検証誤差の最低点付近を狙うようにチューニングすることが一般的であり、学習曲線の形と合わせて判断することで、選択の妥当性が高まる。
4 代表的な誤差指標と手法
代表的な誤差指標は、用途やデータの性質に応じて選ばれる。回帰ではスカラーの予測誤差を扱うことが多いが、比率誤差や対数誤差のように目的変数のスケールに合わせる工夫もある。分類であっても回帰的な出力の近似誤差として使われることがある。
以下では、回帰で頻出の指標、スケール依存の考え方、検証や不確実性推定に繋がる評価観点を整理する。
4.1 回帰でよく使われる指標
回帰でよく使われる指標は、誤差の平均や二乗和、決定係数などの形を取りやすい。どれも「ある基準に対してどれだけ誤差が小さいか」を表すが、基準や解釈の仕方が異なるため、同じデータでも数値の意味は揃わない。
実務では、単一指標に依存しないほうが誤解を減らせる。例えば平均的な誤差と外れ値への頑健性を別々に確認すると、改善方針が立てやすい。
4.1.1 R^2（決定係数）とその注意点
R^2は、モデルが説明できた分散の割合として定義されることが多い。一般に、観測値のばらつきに対して予測がどれだけ減らせたかを直感的に示す。
注意点として、データの分割や目的変数の定義、外れ値、非線形な関係などによってR^2の解釈が難しくなる場合がある。加えて、モデル選択の都合でR^2が高く見える設計は、実際の誤差の形（特定領域でのズレ）を隠すことがある。したがってR^2単独の判断は慎重であるべきだとされる。
4.1.2 調整済みR^2
調整済みR^2は、説明変数の数（モデルの自由度）を考慮してR^2を補正する考え方に基づく。変数を増やしてR^2が上がりやすい性質を弱め、モデル比較の基準を整えることが目的である。
補正の仕方は定義により異なるが、一般には過剰な変数追加による見かけの改善を抑えようとする。とはいえ、前提条件が満たされない状況では指標の妥当性が落ちるため、検証誤差との併用が望ましい。
4.1.3 MAPE・SMAPEなどの比率誤差
MAPE（平均絶対パーセント誤差）は、絶対誤差を実値で割った比率を平均した指標として用いられる。目的変数の単位に依存しにくく見えるため、スケールの異なるデータ間比較に使われることがある。
一方で、実値がゼロに近い場合には分母が小さくなり、指標が不安定になりやすい。SMAPEは分母の扱いを工夫することで安定性を改善しようとする指標である。比率系の指標ではゼロ近傍の扱いが重要であり、データの分布を確認したうえで採用する必要がある。
4.2 特徴量や出力のスケール依存
多くの誤差指標は、目的変数のスケールに依存する。たとえばRMSEは目的変数の単位に一致するため解釈しやすいが、異なる単位や範囲のデータを同列に比較する際には工夫が必要になる。
また、モデル学習の側でも特徴量のスケールが最適化に影響し得る。正規化や標準化は学習の収束を助けるだけでなく、誤差指標の比較可能性にも関係する。指標選択と前処理の整合を取ることが重要になる。
4.2.1 正規化と誤差の比較可能性
正規化は、誤差指標の値をスケールに対してより比較しやすくするための手段として使われる。例えば目的変数を一定の範囲に合わせて変換すれば、同じ指標でも意味合いが整理される場合がある。
ただし正規化は変換であり、逆変換して解釈する必要がある。モデルが出力する値が変換後の尺度にある場合、評価も同じ尺度で行わないと整合が崩れる。評価手順とデプロイ時の出力整合性を確保することが、比較の前提条件になる。
4.2.2 対数スケールでの誤差
対数変換を介した誤差評価は、相対誤差の性質を強めたい場合に用いられる。値の大きい領域での絶対誤差と、小さい領域での絶対誤差の扱いが均衡しやすくなることがある。
ただし対数はゼロや負値に扱い制約があり、前処理の設計が必要になる。たとえば正の値しか扱えない状況では、観測がゼロになり得るか、欠損か、実値かを区別し、適切な変換ルールを決めることが求められる。
4.3 検定・信頼性に関わる評価
誤差指標は予測性能の目安であるが、それに加えて信頼性（どれほど不確実か）を見積もる枠組みも併用されることが多い。統計的検証や誤差帯の推定によって、モデルの改善が偶然ではないかを評価できる。
この観点では、交差検証による性能推定のばらつきや、モデルが提供する不確実性推定を通じて予測の幅を捉える方法が重要になる。
4.3.1 交差検証と誤差推定
交差検証は、データを複数の分割に分けて学習と評価を繰り返し、性能指標の分布を推定する手法である。単一の分割に依存しないため、評価のばらつきを抑え、比較の公平性を高めやすい。
データの時系列性や依存構造がある場合には、通常のランダム分割では適切でないことがある。構造に応じた分割設計（例：時系列分割）を行うことで、誤差推定の信頼性が向上する。
4.3.2 不確実性（誤差帯）の考え方
不確実性は、予測値に対する幅として表されることが多い。点推定だけでは見えないが、データのばらつきやモデルの確信度の低さを反映する。
誤差帯の設計は、モデルが出力する確率的情報（分布推定、仮定された誤差分布、経験的ブートストラップなど）に依存する。予測区間が妥当であれば、誤差指標の数値だけでなく「どれだけの範囲を許容すべきか」を判断する材料になる。
5 実務上の論点
実務では、誤差指標そのものだけでなく、データの扱い、前処理、学習手順、モデル比較の運用が結果を左右する。誤差が大きい場合の原因究明も、指標の解釈とデータ品質の観点を組み合わせて行う必要がある。
また、外れ値、欠測、サンプル重みなどは、誤差計算と学習挙動を同時に変えるため、設計上の注意が求められる。
5.1 外れ値の影響と対策
外れ値は、残差を大きくし、二乗誤差系の目的関数で強く影響することがある。外れ値が真の計測異常なのか、単なる難しい例なのかで対策は異なる。
対策としては、頑健な損失関数の導入、外れ値検知に基づく重み調整、データ収集の見直しなどが考えられる。どれを選ぶにせよ、外れ値を「削除するだけ」では情報を失う可能性があり、再評価の手続きが必要になる。
5.2 欠測・重み・データ品質
欠測データは、学習時の有効サンプル数を減らすだけでなく、分布を変えてしまう可能性がある。単純な補完や削除は有効なこともあるが、欠測の発生機構によっては偏りを生むことがある。
重みは、信頼度や頻度を反映させるために導入されるが、根拠のない恣意的設定は誤差指標の意味を崩す。データ品質としては、ラベルの誤り、計測の系統ずれ、特徴量のスケール不整合なども誤差を増やし得る。誤差低減の前に、入力と目的変数の妥当性を確認する手順が重要になる。
5.3 モデル選択への活用
モデル選択では、訓練誤差だけでなく検証誤差を基準に比較し、過剰適合の兆候を避けることが求められる。さらに誤差指標の選び方は、モデル比較の結論を変えうるため、目的に即した指標選定が実務の要点になる。
また、ハイパーパラメータや学習設定の調整は、単に性能向上だけでなく、安定性や計算コストも含めて評価されるべきである。
5.3.1 ハイパーパラメータ最適化
ハイパーパラメータ最適化は、学習アルゴリズムに固有の設定（正則化強度、学習率、木の深さなど）を調整して、検証誤差が最小になる点を探す作業である。探索戦略として、グリッド探索、ランダム探索、ベイズ最適化などが用いられる。
最適化過程では、分割の再利用による情報漏えいが起きると、見かけの改善が過大評価される。よって、推定と選択の責務を分ける（ホールドアウトやネスト交差検証など）設計が望ましい。
5.3.2 指標の使い分け指針
指標の使い分けは、目的変数の性質（ゼロ頻度、外れ値の多さ、スケールの大きさ）と、改善したい振る舞い（平均を下げたい、極端なズレを抑えたい、相対誤差を整えたい）に対応させて行う。
例えば平均的な性能だけを見ると、特定の領域での大きな外れが見落とされることがある。そのため、補助指標として外れ値に敏感な尺度、比率誤差、順位に近い評価などを併用する方針が取られる。複数指標の合意が得られる形で選び、最終判断は検証誤差と整合させることが実務的である。
6 よくある誤解と注意
フィッティング誤差に関する誤解は、評価手順や指標の意味付けの取り違えとして現れやすい。誤差指標は便利だが、前提条件やデータの性質を無視すると結論が歪む。
誤解を減らすには、「何を最小化しているか」「どのデータで評価しているか」「その数値は何を意味するか」を繰り返し確認することが有効である。
6.1 最小化している誤差指標の確認不足
学習時の目的関数と、検証時の評価指標が一致していない場合がある。例えば損失として二乗誤差を最小化しているのに、評価は比率誤差で行うと、最適化の方向と評価の方向がズレることがある。
このズレは、改善が見えにくい原因にもなる。少なくとも「最小化している量」と「意思決定に用いる量」を対応づけて説明できる状態にしておくことが望ましい。
6.2 データ分割の不適切さ
データ分割が不適切だと、検証誤差が過大に良い結果として見えることがある。特に、同一個体や同一時系列の情報が訓練と検証に跨ると、汎化性能ではなく再見を測ってしまう可能性がある。
また、分割が小規模でばらつきが大きい場合、偶然の良し悪しが結果に強く影響する。交差検証や適切な分割方針を採り、評価の再現性を高めることが重要になる。
6.3 指標の意味づけの過信
指標の数値は、どの前提で計算されたかに強く依存する。たとえばR^2は相対的な説明の度合いであり、必ずしも絶対的な誤差の小ささを意味しない場合がある。
また、平均的指標は分布の裾の振る舞いを十分に反映しない。したがって、単一の尺度で改善が十分かを判断するのではなく、残差の可視化や補助指標で背景を確認する姿勢が必要になる。
6.4 チューニングによる見かけの改善
ハイパーパラメータ調整を検証データに過度に合わせると、汎化性能が伸びないのに数値だけが良くなることがある。いわゆる最適化の対象が「本来の目的」とズレる状況が発生し得る。
対策としては、検証と評価の責務を明確に分けること、ネスト交差検証や最終テストを別に確保することが有効である。誤差の変化が偶然でないかを確認する運用が、信頼できる結論につながる。