1 分布外評価の概要
分布外評価（out-of-distribution evaluation, OOD評価）は、学習や開発で前提にされたデータ分布とは異なる入力が現れた場合に、モデルや検査手法がどの程度信頼できるかを体系的に確かめる枠組みである。分布内（学習時に観測した特徴と整合する領域）では高性能でも、分布外では誤りが増加したり、確からしさの見積もりが崩れたりすることがある。そのため評価は、単なる精度測定に留まらず、誤りの検知、誤用時の挙動、運用上の安全策まで含めて設計される。
1.1 分布外（OOD）の定義
分布外とは、モデルが学習または調整で参照した分布（ID、in-distribution）から外れた入力領域を指す。厳密な数学的定義としては「ある学習分布に対し、確率的性質が十分に異なる」と整理できるが、実務では「モデルが想定するデータ生成過程や特徴の統計が、運用時の入力と一致しない状態」として扱われることが多い。結果として、OOD境界は連続的であり、「どこまでがIDでどこからがOODか」はデータ設計や評価目的によって実装上の定義が変わる。
1.2 評価が必要となる背景
現実の運用では、データ分布は時間とともに変化し、センサや手続きも条件により揺れる。その結果、学習時の仮定が崩れる局面が避けにくく、分布外評価はそれを前提に品質を保証しようとする。
1.2.1 学習データの偏り
学習データは収集可能な条件に依存するため、特定の撮影角度、被写体の種類、環境条件、ラベル付けの方針などに偏りが生じやすい。モデルは観測された統計に強く適合するため、偏りの裏返しとして未観測領域では性能が急減し得る。分布外評価は、その偏りによる脆弱性を早期にあぶり出す目的を持つ。
1.2.2 配備環境の変化
運用時の機器更新、照明条件、通信遅延、前処理パイプラインの差、ユーザ行動の変化などにより、入力の分布は学習時からずれていく。特に長期運用ではドリフトが累積し、目標指標（誤り率、検出率、校正など）が静的に保たれない可能性がある。評価は、変化の方向性を想定し、再評価の設計まで含めて行われる。
1.2.3 センシング条件の相違
同じ対象を観測しても、解像度、ノイズレベル、センサの個体差、取得頻度、圧縮や欠損の有無などが変われば特徴が変わる。さらに、入力の欠落や前処理の差により、モデルが学習で見た「見え方」と一致しないケースが起きる。したがって、OOD評価では入力生成条件の違いそのものが重要な試験対象となる。
1.3 取り扱う対象（性能・安全性・信頼性）
分布外評価で扱うのは、精度の低下だけではない。第一に、予測性能（誤り率、分類・検出の正確さ）がどの程度劣化するかを測る。第二に、安全性の観点から、誤作動が起きたときにシステムがどのように振る舞うべきか（停止、保留、代替処理など）を確認する。第三に、信頼性として、確からしさ推定や確率出力が現実の成否と整合しているか、キャリブレーションの崩れを点検する。これらは相互に関連しつつも別種の失敗を捉えるため、評価設計でも切り分けが必要となる。
2 評価設計の基本要素
分布外評価は「何を」「どれだけ」「どのように」測るかを事前に定義し、再現可能な手順として確立することで成立する。設計段階でデータ計画、指標選定、ベースライン比較が組み合わされる。
2.1 データ分割とサンプル設計
評価の中心は、分布内と分布外をどう分け、どのようなOODサンプルを用意するかである。分割や調達の不備は、検出性能の誤評価や過度な楽観につながる。
2.1.1 分布内データ（ID）
IDデータは、モデルが学習で前提とした生成過程や特徴統計に近い入力から構成する。評価用IDは学習用IDと完全一致である必要はないが、少なくとも同一の前処理、同様のセンサ条件、概ね同じ種類の対象を含むのが望ましい。評価では、学習に用いなかったIDデータを保持し、一般化性能と基準点を測る。
2.1.2 分布外データ（OOD）の調達方法
OODデータは、運用で起こり得るずれ方を反映して調達するのが基本である。現実に近い収集と、制御された人工生成の両面が用いられる。
2.1.2.1 実運用データの収集計画
将来の運用変化を完全に予測できないため、実運用に近い入力を段階的に収集する戦略が取られる。例えば季節変化、機器ロット差、利用者層の変化、手作業介入の有無など、変化要因を棚卸しし、可能な範囲でサンプルを取得する。収集後は前処理の整合性を取り、IDとの比較が歪まないようにする。
2.1.2.2 人工的生成（変換・摂動）
人工生成では、既知データに対して変換や摂動を加え、統計的に異なる入力を作る。画像なら回転、ノイズ付加、解像度低下、輝度変動、背景の差し替えなどが典型である。言語なら語彙置換や意味保持の変換、物理系なら計測誤差のモデル化など、目的に応じて設計される。人工OODは制御性が高い一方で、現実の変化を十分に覆うかの検証が必要になる。
2.2 指標と評価指標の選定
分布外評価は単一指標で完結しない。用途に応じて性能、確からしさ、検出能力を組み合わせるのが一般的である。
2.2.1 精度・誤り率
誤り率やF1、再現率などの精度指標は、IDとOODで比較し、劣化の大きさを把握する。特にOODではクラス間の混同や誤検出が変化するため、全体平均だけでなく誤差のパターンも追跡する設計が有効である。
2.2.2 キャリブレーション（確からしさの整合）
キャリブレーションは、予測確率やスコアが「その確率で当たる確率」と整合しているかを測る。例えば過信すると高い確率を出しているのに実際は不正解が多くなる。誤差分布が分布外でどのように歪むかを、キャリブレーション指標で確認することで、意思決定の安全性に直結する。
2.2.3 検出能力（OOD判定の良さ）
OOD検出は「IDとして受理するべきか」「OODとして保留するべきか」を判定する能力である。評価では、誤警報（IDをOODと誤判定）と見逃し（OODをIDとして受理）のトレードオフを、ROCやPRのような枠組み、あるいは検出率・誤警報率の組で捉える。これにより運用ルールの設計に必要な情報が得られる。
2.3 ベースラインの設定
比較対象が不明確だと、改善の意味が失われる。ベースラインは「通常運用」および「ロバスト化の既存手法」を含めて設定する。
2.3.1 標準モデル（通常運用）
標準モデルは通常の学習・推論手続きにより得られたもの、あるいは現場で採用されている既定構成である。ID指標だけでなく、OOD指標（検出、キャリブレーション、破綻の度合い）も測り、比較の基準を作る。
2.3.2 ロバスト化手法の比較
ロバスト化手法には、頑健な学習戦略、不確実性推定の改善、入力前処理の工夫、検出器の付加などがある。ベースラインとしては、単に精度が高いモデルだけでなく、OODでの挙動が安定しているかを中心に比べる。比較では評価データの同一性と指標の共通化が重要である。
3 分布外検出と性能評価
この章では、OOD検出の考え方と、誤用時に現れる失敗の類型、さらに運用可能なしきい値設計へと進む。
3.1 OOD検出の代表的アプローチ
OOD検出は「入力がIDらしいか」を何らかの量で推定し、判定に用いる方法である。手法の発想は大きく分けて、確率モデルに基づくもの、表現空間の距離に基づくもの、不確実性に基づくものに整理できる。
3.1.1 尤度・確率に基づく方法
尤度や確率推定を用いる方法では、モデルがその入力をどれほど「データ生成に近い」と見なすかをスコア化する。一般には、IDの領域で高いスコア、OODで低いスコアになることを期待する。確率計算の枠組みはモデル種に依存し、確率がうまく分離されない場合は性能が頭打ちになることがある。
3.1.2 埋め込み空間での距離に基づく方法
特徴抽出器の出力（埋め込み）において、学習済みIDの分布からの距離を尺度とする。典型的には最近傍、中心からの距離、あるいは統計量に基づく異常度が利用される。表現空間がOODに対して滑らかに変化するとは限らないため、距離の定義や正規化が成否を左右する。
3.1.3 予測不確実性に基づく方法
予測不確実性をスコアにする方法では、モデルがその入力に対してどれほど確信を持てないかを指標化する。不確実性には種類があり、データが不足していることに起因するものや、モデルの表現能力に関係するものなどが絡む。実務では、複数回の推論でのばらつきや、推定器の設計により不確実性を取得する。
3.2 誤用時の挙動評価（失敗の種類）
OODでの失敗は一様ではない。過信による静かな問題と、急激な崩壊による顕在化した問題に分けて観察することで、運用上の対策が具体化しやすくなる。
3.2.1 静かな失敗（過信）
静かな失敗は、システムが誤りにもかかわらず高い確からしさを示し、ユーザや上流判断がその結果を受け入れてしまう状態である。検出器が働かないだけでなく、確率出力がキャリブレーション面でも破綻している場合が多い。評価では、誤り率と確率の対応関係を併せて確認する。
3.2.2 大胆な失敗（急激な崩壊）
大胆な失敗は、スコアの大きな変動や出力の不安定化により、性能が急速に低下するタイプである。検出面では比較的発見しやすい場合もあるが、判断が間に合わないと運用停止や誤作動に直結する。評価では、入力の段階的な変化に対して性能が滑らかに劣化するか、閾値付近で急に崩れるかを追う。
3.3 しきい値と運用ルール
OOD検出のスコアは連続値であるため、実装ではしきい値を決め、受理・保留・却下の運用に落とす必要がある。
3.3.1 受理・保留・却下
受理はIDとして通常処理を行う状態、保留は追加確認や別経路へ回す状態、却下は明確に安全側へ誘導する状態として定義される。境界設計はコスト（見逃しの損失と誤警報の損失）に依存する。評価では、複数しきい値での誤り率、検出率、運用負荷を併記し、意思決定を支える。
3.3.2 監視アラートの設計
監視アラートは、スコアやキャリブレーション指標の変化を検知して運用者へ通知する仕組みである。単発の閾値超過だけでなく、短期窓での傾向変化、分布ドリフトの兆候、再評価のトリガー条件を組み合わせると有効である。通知頻度と対応可能性のバランスも運用設計の一部となる。
4 分布外頑健性の強化と検証
分布外評価は診断であり、次に頑健性を高める学習や推定器改善、そして実務手順の確立へつながる。
4.1 データ拡張・頑健化学習
分布外に耐えるための基本方針は、学習時から変動要因を見せること、または変動に対して損失が過度に支配されないよう設計することである。
4.1.1 摂動ベースの拡張
入力に対して摂動を加え、多様な見え方を学習へ組み込む。目的は、回転やノイズ、輝度の揺れのような変化に対して内部表現が過剰に敏感にならない状態を作る点にある。摂動の強度や種類が現実とずれると、頑健性が限定的になるため、評価データとの対応付けが重要である。
4.1.2 ドメイン多様化
ドメイン多様化は、複数の環境や収集条件にまたがってデータを集め、学習の前提を広げる方法である。複数センサ、複数施設、異なるユーザ操作など、現実に存在する差異を反映することで、分布境界の外側でも比較的破綻しにくい性質を狙う。単にデータ量を増やすだけでなく、ラベル品質や前処理整合も同時に管理する必要がある。
4.2 不確実性推定の改善
分布外ではモデルが誤るだけでなく、確からしさの見積もりが信頼できなくなることがある。したがって不確実性推定とキャリブレーションを強化し、意思決定の誤りを抑える。
4.2.1 出力キャリブレーション
キャリブレーションの改善では、予測スコアを調整し、経験的に整合する確率へ寄せる。温度スケーリングのような後処理、検証データを用いた補正、損失設計による一体的最適化などが用いられる。重要なのは、補正がIDだけでなくOODでも適切に働くか、あるいは適用範囲を明確にすることにある。
4.2.2 ベイズ的手法・推定器の工夫
ベイズ的手法では、パラメータ不確実性や事後分布の考え方を取り込み、予測のばらつきを不確実性として扱う。近似の方法として、推定の簡略化やサンプリングに類する手続きが採用されることがある。加えて、複数推定器のアンサンブルや、誤差要因を分解する学習設計なども、OODでの不確実性をより意味あるものにする狙いを持つ。
4.3 検証の実務手順
強化した後は、現場で想定するシナリオに対して継続的に確認する。評価は一度きりではなく、変化に追随する前提で運用される。
4.3.1 反実仮想的評価（想定シナリオ）
反実仮想的評価は「起こり得る出来事」を想定し、それに対応する入力条件を再現してモデルを試す方針である。例えば機器設定の変更、前処理仕様の部分的置換、通信経路での欠損など、現実の運用変更をシナリオとして定義し、ID/OOD双方の挙動を確かめる。重要なのは、シナリオが実際の運用意思決定と結び付いていることである。
4.3.2 継続監視と再評価
継続監視では、運用中に得られる新規入力に対して、検出スコア、誤りの傾向、キャリブレーション指標の推移を追跡する。ラベルが後から得られる場合は遅延評価も組み込み、性能が劣化した兆候が確認されたら再評価へ移行する。更新時には訓練データや検出器の仕様が変わるため、評価の再現性を保つ管理が必要となる。
4.4 ユーモア的観点：分布外を見抜けなかったときの「あるある」
分布外評価の不足は、技術的失敗だけでなく、運用上の誤解や手戻りを生みやすい。ここでは軽い観点として、よくあるパターンを整理する。
4.4.1 それっぽく正解してしまう罠
見た目は似ているのに内部の根拠が違う入力に対し、モデルが「それっぽい」出力を出してしまう。特に確率が高いほど信じられてしまい、後で判明すると関係者の沈黙が増える。OOD検出とキャリブレーションの整合を見ておくと、この罠の確率を下げられる。
4.4.2 似ているのに別物の罠
似たカテゴリに見えるが、生成過程や計測条件が異なる入力では、特徴が近くても論理が変わる。結果として、分布外なのに分布内の雰囲気だけで判断が進み、気づいた時にはログが「なぜこれで通ったのか」を語れない状態になる。評価データのカバレッジと、運用ルールの保留設計が鍵になる。