1 誤差指標の基礎
誤差指標は、観測値や予測値が基準からどの程度離れているかを数値で示すための枠組みである。単一の尺度ではなく、差の取り方や正規化の方法に応じて複数の種類がある。統計解析では推定の妥当性を、機械学習では予測性能を、工学では測定や制御のずれを把握するために使われる。
1.1 定義
一般に、誤差指標はある値と基準値との差を要約した量である。差をそのまま扱うものもあれば、絶対値や二乗を用いて大きさだけを評価するものもある。さらに、基準値で割って割合として表す形式もあり、異なる尺度のデータを比較しやすくする。
1.2 用途
誤差指標の主な用途は、推定結果や予測結果の良し悪しを比較することである。モデル選択、アルゴリズムの改善、装置の調整、検査工程の評価などに用いられる。また、同じ対象でも複数の指標を併用することで、平均的なずれと大きな失敗の両方を確認できる。
1.3 評価の前提
誤差指標を正しく使うには、何を基準にするかを明確にしなければならない。基準値の性質、観測に含まれる誤差、比較対象の条件が異なると、同じ数値でも解釈は変わる。評価の前提が曖昧だと、指標の比較自体が不適切になる。
1.3.1 真値と基準値
真値は理想的には正確に知られる値を指すが、実際には直接得られないことが多い。そのため、実務では基準値、参照値、目標値などが代用される。どの値を基準にするかによって、誤差の意味合いは変化する。
1.3.2 観測誤差
観測誤差は、測定器の限界、環境条件、手順のばらつきなどによって生じる。誤差指標は、対象そのもののずれだけでなく、このような観測上の不確実さも含んだ結果を反映する場合がある。そのため、指標の値は必ずしも対象の性能だけを示すとは限らない。
1.3.3 比較対象
比較対象が異なれば、同じ指標でも意味は変わる。たとえば、モデル間の比較、時点間の比較、群間の比較では、評価の尺度や解釈の重点が異なる。比較条件を揃えることが、妥当な評価の前提となる。
1.4 誤差と残差の違い
誤差は一般に、真値や基準値からのずれを指す。これに対して残差は、モデルが与えた予測値と実測値との差を表すことが多い。実際の分析では両者が近い意味で使われる場合もあるが、厳密には基準の取り方が異なる。
2 誤差指標の分類
誤差指標は、ずれの表し方によって大きくいくつかに分けられる。絶対値を使うものは大きさを分かりやすく示し、二乗を使うものは大きなずれを強調する。相対値を使うものは尺度の違う対象を扱いやすくし、割合系の指標は分類結果の評価に向く。
2.1 絶対誤差系
絶対誤差系は、差の符号を取り除き、大きさだけを評価する。直感的に理解しやすく、単位も元の量と一致するため、実務で使いやすい。極端な値に引きずられにくい一方で、ずれの方向は表現しない。
2.1.1 絶対誤差
絶対誤差は、個々の測定値または予測値と基準値の差の絶対値である。1件ごとのずれを直接示すため、どの観測が大きく外れているかを把握しやすい。局所的な評価や例示に適している。
2.1.2 平均絶対誤差
平均絶対誤差は、絶対誤差を全体で平均したものである。全体としてどの程度ずれているかを示し、解釈が比較的容易である。大きな外れ値の影響は二乗系より小さい。
2.1.3 中央絶対誤差
中央絶対誤差は、絶対誤差の中央値を用いる指標である。代表値として頑健であり、外れ値が少数ある場合でも全体像をつかみやすい。分布が歪んだデータに対して有用である。
2.2 二乗誤差系
二乗誤差系は、差を二乗してから評価する。大きなずれが強く反映されるため、重大な失敗を重視したい場面で役立つ。解析上の性質がよいため、理論的な扱いにも広く用いられる。
2.2.1 二乗誤差
二乗誤差は、個々の差を二乗した値である。正負の打ち消しがなく、誤差が大きいほど急速に増える。単一のサンプルに対する罰則として用いられることが多い。
2.2.2 平均二乗誤差
平均二乗誤差は、二乗誤差を平均した指標である。全体のばらつきや予測の不一致をまとめて示す。大きな誤差を強く抑えたい場合に適している。
2.2.3 二乗平均平方根誤差
二乗平均平方根誤差は、平均二乗誤差の平方根である。元の量と同じ単位に戻るため、現場では解釈しやすい。二乗の性質は保ちつつ、値の見通しをよくした形といえる。
2.3 相対誤差系
相対誤差系は、誤差を基準値で割って割合として示す。値の大きさが異なる対象同士を比べやすく、スケールの違いをならす働きがある。ただし、基準値が小さいと値が不安定になりやすい。
2.3.1 相対誤差
相対誤差は、基準値に対するずれの比率である。絶対量ではなく、元の値に対してどの程度外れたかを示せる。異なる桁のデータを扱う際に便利である。
2.3.2 平均絶対百分率誤差
平均絶対百分率誤差は、相対誤差の絶対値を百分率で平均したものである。予測値が基準から何パーセントずれたかを示し、理解しやすい。需要予測や売上予測などでよく参照される。
2.3.3 対称平均絶対百分率誤差
対称平均絶対百分率誤差は、基準値の大きさに依存しすぎないよう工夫した百分率指標である。値が小さい領域での極端な変動を抑えやすい。上下のずれを比較的バランスよく扱える。
2.4 比率・割合に基づく指標
この系統は、正解か不正解か、ある条件を満たすかどうかといった分類問題で重要になる。単純な数値差ではなく、割合として性能を示す点に特徴がある。対象は連続値よりもカテゴリデータに近い。
2.4.1 正解率関連指標
正解率は、全体のうち正しく分類された割合である。直感的ではあるが、偏ったデータでは過大評価になりやすい。補助的な指標と併用されることが多い。
2.4.2 適合率関連指標
適合率は、陽性と判定したもののうち実際に正しかった割合である。誤って陽性にする回数を抑えたい場面で重視される。検出精度や警報の妥当性を評価する際に使われる。
2.4.3 再現率関連指標
再現率は、実際の陽性をどれだけ取りこぼさずに拾えたかを示す。見逃しを避けたい用途で重要になる。適合率とのバランスを見ながら評価するのが一般的である。
3 性質と解釈
誤差指標は数値としては単純でも、その性質を理解しないと誤解を招く。単位、外れ値、尺度、値域などにより、同じデータでも見え方が変わる。解釈には、対象分野の慣習も影響する。
3.1 単位の有無
絶対誤差系は元の量と同じ単位を持つことが多い。これに対し、割合型の指標は無次元であるため、異なる量どうしを比べやすい。単位の有無は、数値の意味を読み取る際の重要な手がかりになる。
3.2 外れ値への感度
二乗を使う指標は、外れ値の影響を強く受ける。逆に、中央値を用いる指標は少数の極端値に比較的強い。外れ値がノイズなのか重要な失敗なのかによって、望ましい感度は変わる。
3.3 スケール依存性
多くの指標は、データの尺度や単位に左右される。たとえば、同じ相対的な性能でも、測定の単位を変えると絶対値は変化する。比較の際には、スケール依存かどうかを確認する必要がある。
3.4 値域と比較可能性
指標によっては上限や下限が明確であり、解釈しやすい。一方、値域が広いものは改善の余地を細かく見やすいが、標準的な比較が難しくなることもある。複数指標を並べることで、評価の偏りを減らせる。
3.5 直感的な意味
良い誤差指標は、数式だけでなく意味の見通しが立つ。絶対誤差は「どれだけ離れたか」を、二乗誤差は「大きな失敗をどれほど重く見るか」を表す。直感と数学的性質の両方を踏まえると、選択を誤りにくい。
4 応用と選択
誤差指標の使い方は分野ごとに異なるが、共通しているのは目的に合った尺度を選ぶ必要がある点である。評価の対象が連続値か分類か、少数の大きな失敗を重く見るか、全体平均を重視するかによって適切な指標は変わる。
4.1 統計における利用
統計では、推定量や予測モデルの性能確認に誤差指標が使われる。中心的なのは、平均的なずれの把握と、分布のばらつきの確認である。仮定の違いに応じて、頑健な指標と感度の高い指標を使い分ける。
4.2 機械学習における利用
機械学習では、学習時の損失関数や評価指標として誤差が用いられる。回帰では絶対誤差系や二乗誤差系が多く、分類では割合系の指標が中心になる。学習の目的と評価の目的が一致しているかを確認することが重要である。
4.3 工学・計測における利用
工学や計測の分野では、装置の精度確認、制御の安定性評価、校正結果の検証などに使われる。測定単位や許容差との関係が重視され、わずかなずれでも実用上重大になる場合がある。したがって、単なる平均だけでなく分散や最大誤差も参照されやすい。
4.4 品質管理における利用
品質管理では、製品寸法や工程条件が目標からどれほど逸脱しているかを把握するために利用される。ばらつきの監視や工程改善の指標として役立つ。現場では、見やすさと運用のしやすさが重視される。
4.5 指標選択の基準
指標の選択は、分析の目的、データの性質、外れ値の有無を踏まえて決めるべきである。単に値が小さいかどうかだけで判断すると、実際の性能を見誤ることがある。複数の尺度を組み合わせると、評価の偏りを減らせる。
4.5.1 目的に応じた選択
平均的な性能を知りたいなら絶対誤差系や二乗誤差系が有力である。見逃しを避けたいなら再現率、誤警報を抑えたいなら適合率が適している。目的と指標の役割を一致させることが基本である。
4.5.2 データ分布への適合
データが対称か、歪んでいるか、外れ値が多いかによって適切な指標は変わる。分布が不均一な場合は、中央値や割合型の尺度が有利なことがある。分布特性を無視すると、代表値が実態を反映しない。
4.5.3 外れ値対策
外れ値が測定ミスか重要な現象かを見極める必要がある。単純に除外するだけではなく、頑健な指標を併用する方法もある。外れ値への対応方針は、評価の公平性に直結する。
5 関連概念
誤差指標は、精度や再現性などの周辺概念と密接に結びついている。これらは似て見えても、何を表すかが異なる。評価を正確に行うには、各概念の役割を区別することが重要である。
5.1 精度
精度は、測定値や予測値が基準にどれだけ近いかを示す概念である。日常語では広く使われるが、分野によって意味が少し異なることがある。誤差指標は、精度を定量化するための手段の一つである。
5.2 再現性
再現性は、同じ条件で繰り返したときに同様の結果が得られる性質である。誤差が小さくても、結果が安定しなければ再現性は高いとはいえない。したがって、正確さと安定性は別に考える必要がある。
5.3 バイアス
バイアスは、予測や推定が一方向に偏る傾向を指す。平均的には近く見えても、系統的なずれがある場合はバイアスが存在する。誤差指標と合わせて確認すると、単なる散らばりとの違いが明確になる。
5.4 不確かさ
不確かさは、測定や推定に伴うあいまいさを表す。誤差指標が実際のずれの大きさを示すのに対し、不確かさはその値の信頼度を補足する。両者を区別すると、評価の意味がより明瞭になる。
5.5 信頼区間
信頼区間は、母数や真の値が含まれると期待される範囲を示す。単一の誤差指標だけでは分からない推定の幅を補う役割がある。誤差の大きさと区間の広さを併せて見ることで、結果の安定性を判断しやすくなる。