1 欠測の基本
1.1 欠測の定義
欠測とは、データ集合において、本来は観測されるはずの変数値が得られず、記録が欠けている状態を指す。欠測は「未記録」「取得不能」「途中で欠落」など多様な背景を含み、解析上は通常、欠測しないデータとは異なる性質を持つものとして扱う必要がある。
1.2 欠測の種類
1.2.1 欠測のメカニズム（無作為・条件付き・非ランダムの考え方）
欠測の発生機構は、後続の推定がどの程度妥当であるかを左右する。代表的には、無作為に近い欠測、観測済み情報に条件づけられた欠測、欠測している値や未観測の事情に強く依存する欠測に整理される。
無作為に近い欠測では、欠測が発生するかどうかが、関心のある値そのものや未観測の要因と無関係だとみなせる。条件付きの欠測では、欠測の発生は観測済み変数により説明できるが、欠測する変数の本体には直接依存しうる。非ランダムの欠測では、欠測の判断に未観測の情報が関与し、同じ観測済み条件でも欠測率が変動する可能性がある。非ランダムでは、単純な削除や無条件の補完が系統誤差を生みやすい。
1.2.2 欠測パターン（単発・断続・構造的）
欠測は発生時点や欠け方によっても分類できる。単発は一部の変数だけが少数の観測単位で欠ける状態である。断続は時系列や反復測定で一部の時点が飛び、継続的に観測されない区間が生じる形を指す。構造的欠測は、たとえば特定の集団や条件に該当する場合のみ測定されないなど、設計や運用の都合により欠測が系統的に配置される形である。
パターンの理解は「なぜ欠けたか」を推理する材料になる。特定の業務工程や選別条件と一致する欠落は、欠測が単なる偶然ではない可能性を示す。
1.3 欠測がもたらす影響
1.3.1 推定の偏り
欠測により、解析で用いるサンプルが元集団の代表性を失う場合がある。とくに欠測が変数値や隠れた要因に依存していると、平均や回帰係数のような推定量が実態からずれる。除外基準が結果に結びつく場合も同様に、見かけ上の改善や悪化が起こりうる。
1.3.2 分散の増加と不確実性
欠測は有効なデータ量を減らすため、推定のばらつきが大きくなる傾向がある。加えて、補完を行わない場合は情報不足が直接効く。補完を行う場合でも、補完モデルの不確実性を適切に反映しないと、過度に楽観的な確率評価や信頼区間が得られる恐れがある。
1.3.3 解釈の注意点
欠測がある解析結果は、「欠測なしの世界で観測した場合の性質」とは一致しないことが多い。特に、補完後のモデル評価だけで結論を出すと、欠測機構の妥当性を見落とす。推定値の解釈には、欠測の発生背景、除外の扱い、補完の仮定に関する透明性が不可欠である。
2 欠測の発見と記述
2.1 欠測の可視化と要約
2.1.1 欠測率（変数別・個体別）
欠測率は、どの変数で情報が欠けやすいか、またどの個体（観測単位）で欠落が多いかを把握する基本指標である。変数別の欠測率は、測定手順や設計の偏りを示すことがある。一方、個体別の欠測率は、特定の対象群で観測が途切れるなど運用上の偏りの手がかりになる。
欠測率は単に数値として報告するだけでなく、解析対象となる集団の定義と対応づけて確認する。たとえばサブグループ抽出の前後で欠測率が変わる場合、選別過程も含めて点検が必要になる。
2.1.1.1 欠測ヒートマップと欠測の偏り確認
ヒートマップは、変数と個体を軸に欠測の有無を格子状に表示し、欠落のまとまりを直感的に捉える手法である。ランダムに散らばるように見える場合と、特定領域に集中する場合で、欠測機構の推定方針が変わる。
欠測が特定の変数群に同時に現れる場合、測定条件が共通している可能性がある。逆に、個体側にまとまって欠けている場合は、参加・追跡・運用上の問題を疑う材料になる。ヒートマップは、欠測の偏りを事前に疑うためのスクリーニングとして有用である。
2.1.2 欠測の分布とパターン分類
欠測の分布は、欠け方の多様性を記述する。分布の観察により、単発で局所的な欠測か、連続的な区間欠落があるか、あるいは複数変数にまたがる構造的欠測かを区別しやすくなる。反復測定データでは、時点ごとの欠落率推移が特に重要になる。
パターン分類は対応策にも直結する。たとえば、時間依存が強い断続欠測では時点情報を反映した扱いが検討される。構造的欠測では、測定の前提条件そのものをデータ生成過程の一部として扱う必要がある。
2.2 欠測の実務的確認手順
2.2.1 データ収集・記録プロセスの点検
欠測を記述した後は、発生原因を現場のプロセスに接続する。入力画面の必須項目の有無、データ変換時の失敗、測定機器の稼働状況、倫理的・安全上の理由による取得停止など、原因は技術的・運用的に多岐にわたる。
点検では、欠測が「偶然の見逃し」なのか「意図したスキップ」なのかを切り分ける。記録のログや手順書、データ整備の履歴がある場合は、欠測の分布と照合して整合性を確認する。
2.2.2 収集タイミングや条件の照合
収集タイミングのずれは、系統的な欠測につながる。たとえばある変数は特定フェーズでのみ測定される、あるいは初回訪問では取得せず後日の再訪でのみ集めるといった設計があると、個体ごとの欠測率は研究デザインの影響を強く受ける。
条件の照合では、欠測が特定の属性や状態に連動していないかを確認する。測定の有無が条件分岐により決まる場合、欠測は「情報を持たない空白」ではなく、「測定されない状態の観測」として捉える方が適切なことがある。
3 欠測への対応（方針）
3.1 欠測をどう扱うかの意思決定
3.1.1 目的変数と推論対象の整理
対応方針は、何を推定したいのかによって変わる。目的変数（予測したい値）と、推論対象（対象集団や将来の適用範囲）を先に明確化し、欠測がどの段階で生じているかを整理する。
たとえば、予測タスクでは入力特徴量の欠測と、学習対象としての目的変数の欠測で影響の出方が異なる。推定量の解釈も、対象集団の定義をどこまで含めるかに依存する。
3.1.2 欠測の許容度（精度・コスト・透明性）
欠測の扱いにはトレードオフがある。完全ケースの削除は実装が簡単である一方、データ喪失による精度低下や代表性の崩れを招く。補完は情報を回復できるが、補完モデルの仮定が妥当でないと誤りを持ち越す。
また、透明性の観点では、どの変数をどう扱い、欠測の処理がどの計算手順に組み込まれるかを説明できる必要がある。精度向上を狙って複雑な手法を採用する場合ほど、再現性と検証可能性の要件が高まる。
3.2 完全ケース分析
3.2.1 長所と短所
完全ケース分析は、欠測を含む観測単位を除外して解析を行う方法である。長所としては、手順が簡潔であり、補完に伴う仮定の導入が少ない点が挙げられる。短所は、データが減ることによる不確実性の増大に加え、欠測機構が無作為でない場合に系統誤差が残りうる点である。
欠測率が低い場合は実用上の影響が小さいこともあるが、高い場合や特定集団に欠測が集中する場合は注意が必要になる。
3.2.2 適用条件の考え方
適用の妥当性は、除外後のサンプルが推論対象をどれだけ代表するかに依存する。欠測が推定対象の値と独立であり、かつ観測済みの条件に対しても偏りが生じないとみなせるとき、完全ケースは比較的自然な選択になりうる。
実務では、欠測を含む場合と除外後の分布を比較し、代表性の崩れが大きくないかを確認することが推奨される。代表性が崩れている疑いが強い場合、削除ではなく補完や別アプローチの検討が望ましい。
3.3 欠測補完（インピュテーション）
3.3.1 単純補完（平均・中央値など）
単純補完は、欠測値に固定的な値（平均、中央値、カテゴリなら最頻値など）を代入する方法である。計算が軽く、実装も容易である点が利点になる。
一方、欠測分のばらつきを潰しやすく、分散や相関構造が歪む。さらに、欠測が非ランダムである状況では、過度に均されることで関係性が別物になる恐れがある。単純補完は、探索的分析や欠測率がごく小さい状況に限定するなど、用途を絞ると安全である。
3.3.2 回帰・分類による補完
回帰や分類の枠組みを使い、欠測している変数を他の観測変数から予測して補う方法である。数値変数なら回帰、カテゴリ変数なら分類器が用いられることが多い。単純補完よりも、欠測値が持つ情報の一部を反映できる。
ただし、モデルが欠測機構を十分に捉えられない場合、補完が系統誤差を持つ可能性がある。さらに、補完に用いた学習が過学習していると、後段の解析に不都合な影響が及ぶ。分離・検証の設計が重要になる。
3.3.3 モデルベース補完（多重補完の考え方）
モデルベース補完では、欠測値の不確実性まで含めて推定する考え方が中心となる。代表的な枠組みとして多重補完があり、欠測値を一度だけ決めるのではなく、複数の補完データセットとして生成して解析し、その結果を統合する。
多重補完の利点は、補完に伴うばらつきを後段の推論へ反映しやすい点にある。実装時には、補完モデルの変数選択、分布の仮定、反復手順の整合性などを点検し、補完が恣意的になっていないかを確認することが求められる。
3.4 欠測を含む手法（代替アプローチ）
3.4.1 欠測指標の導入
欠測していること自体を特徴量として扱う方法がある。数値やカテゴリに加えて「欠測フラグ」や欠測の有無を表す指標を作り、学習モデルに入力する。欠測が状態や選別条件と結びつく場合、指標が追加情報として働くことがある。
ただし欠測指標の解釈は自明ではない。欠測の理由が多様で、同じ欠測フラグでも意味が揃っていないときは、単一指標で表現しきれない可能性がある。
3.4.2 特殊な欠測前提に基づく推定
欠測機構に関する仮定を明示して、それに整合する推定を行うアプローチもある。たとえば、欠測確率を推定して重みづけする考え方、観測されない部分の情報を確率モデルとして扱う考え方などが含まれる。
この種の方法は、仮定が満たされる限りで有効性が高い。逆に、仮定が破れている場合は性能が劣化しうるため、事前の診断や感度分析が重要になる。適用には統計的前提の理解と報告の丁寧さが必要である。
4 欠測補完の評価とレポーティング
4.1 補完の妥当性評価
4.1.1 ホールドアウトでの検証
補完の良し悪しは、観測済みデータを意図的に欠測相当に扱い、補完後の復元性能を測ることで評価できる。ホールドアウトでは、欠測率を人為的に設定し、元の値にどれだけ近づけられるかを指標で確認する。
検証対象は、予測誤差に限らず分布の整合性やカテゴリ割合の再現にも広げると良い。単なる点精度だけでは、補完値の分散や外れ値の扱いが見落とされることがある。
4.1.2 結果の頑健性チェック
頑健性チェックでは、欠測処理の設定を変えたときに結論が大きく動くかを確認する。例として、補完モデルの仕様変更、補完回数の変更、削除と補完の併用、評価指標の切替などが挙げられる。
結論が安定しているなら、欠測処理の仮定に対する依存度が相対的に低いと判断できる。逆に大きく揺れる場合は、補完モデルの妥当性や欠測機構の見立てが再検討の対象となる。
4.2 バイアスを避ける設計
4.2.1 学習データと評価データの分離
補完や前処理は、評価に使うデータへ情報が漏れないように分離する必要がある。具体的には、学習用データのみで補完モデルを作り、評価用データへ適用する流れを保つ。分離が崩れると、テストが「見てはいけない情報」を参照したのと同様の結果になり得る。
特に機械学習を用いた補完では、ハイパーパラメータ調整や正規化の手順も含めて、どの段階で学習データに触れたかを整理することが重要になる。
4.2.2 情報漏えいへの配慮
情報漏えいは、補完だけでなく前処理全体に潜む。欠測補完で目的変数に近い変数を過剰に使う、欠測フラグが結果ラベルに連動してしまう、統計要約の計算が全データで行われるといった状況が典型である。
回避には、パイプライン化と、データ分割単位ごとに処理が完結しているかの点検が有効である。監査可能な手順として記録しておくと、後日の再現性確保にもつながる。
4.3 再現可能な記録方法
4.3.1 補完手法・パラメータの明記
欠測補完の評価と報告では、手法の種類だけでなく仕様を明示する必要がある。単純補完なら使用した統計量、回帰・分類補完ならモデル種別と特徴量、正則化や乱数の扱い、多重補完なら補完回数や収束条件などを記録する。
この明記により、別環境でも同様の結果が再現しやすくなる。加えて、後から欠測率や変数追加があった場合でも、どこが比較可能性を担保する要素なのかが理解しやすい。
4.3.2 欠測率と除外基準の報告
除外基準（完全ケースにする閾値、欠測が一定以上なら削除する条件など）は、解析の性質を決める要素であるため報告が必要である。欠測率は対象変数ごとに整理し、サンプルサイズがどの程度変化したかも示すと解釈の助けになる。
欠測の処理が結果に与える影響は、データ構成に直結する。したがって、処理前後の欠測状況と採用した判断基準をセットで示すことが望ましい。
4.4 典型的な失敗例
4.4.1 不適切な補完による見かけの改善
補完により欠測率は見かけ上減るが、実際には分散が縮み、相関が変質していることがある。その結果、指標が改善したように見えても、実運用での性能は落ちる場合がある。特に単純補完を複雑な推論に直結させたときに、問題が表面化しやすい。
改善が実データの性質を反映しているかは、再現性検証や分布整合性の確認で確かめる必要がある。
4.4.2 欠測理由の無視
欠測の背景を検討せずに処理を選ぶと、欠測機構の仮定が外れ、補完や削除が系統誤差を固定化することがある。たとえば測定工程が特定属性に基づき分岐しているのに、それを無視してランダム欠測として扱うようなケースは典型である。
対策としては、欠測パターンと運用プロセスの照合、条件付きの可能性の検討、感度分析などを組み合わせることが重要になる。