1 欠損の概要
1.1 欠損の定義と背景
欠損とは、データ集合において本来観測されるはずの項目の値が、取得段階または記録段階で欠けている状態を指す。欠損の対象は、数値・カテゴリ・時刻など多様な型に及ぶ。現実のデータでは、センサの故障、回答拒否、システム障害、サンプリング設計、計測上の上限・下限、ユーザー入力の欠落などが原因となり、完全な観測が前提にならないことが多い。
1.2 欠損が分析へ与える影響
1.2.1 バイアスの発生
欠損がランダムではなく、特定の性質を持つ対象で多く生じる場合、観測データは母集団の代表性を失う。その結果、推定される母数や予測器の条件付き分布が歪み、平均や回帰係数、分類境界が偏る。特に、欠損が目的変数と関連している場合、見かけ上の性能が見誤られやすい。
1.2.2 分散・不確実性の増大
値が欠けると有効なサンプル数が減り、推定誤差のばらつきは大きくなる。さらに、欠損処理によっては、補完に伴う推定誤差が追加される。結果として信頼区間の幅が広がる、確率モデルでは事後分布の不確実性が増える、などの形で表面化する。
1.3 欠損データの扱い方の基本方針
基本方針は「欠損の性質を理解し、用途に応じて一貫した処理を選ぶ」ことにある。まず、欠損率や欠損の偏り、欠測の発生機構に関する仮説を立てる。次に、その仮説に整合する欠損処理（削除、単純補完、予測補完、多重代入、欠損を特徴量化する設計など）を選ぶ。最後に、評価手順を欠損の前提と整合させ、リークや過大評価を防ぐ。
2 欠損の分類
2.1 欠損の発生機構（考え方）
欠損の発生機構は、欠測が「どの情報に依存しているか」で整理される。ここで観測されている変数、観測されていない変数、欠損が起きるか否かを表す指標を区別して考えることで、後続の推定や補完の妥当性が評価できる。
2.1.1 欠損が確率的に起きる場合
観測された情報に条件づければ欠測が独立であるとみなせる状況では、欠損処理によってバイアスを抑えられる可能性がある。この種の欠損は、欠損率が一定ではないとしても、設計や前処理上の条件を適切に揃えることで、推定の一貫性が保たれやすい。
2.1.2 欠損が観測値と独立でない場合
欠測の発生が観測変数の値と関連している場合、観測データは条件付きで偏る。例えば、特定の属性を持つ対象だけが回答しない、あるいは特定の値域で計測が止まる、といったケースが該当する。対処としては、観測変数に基づく補完や、欠測指標をモデルに組み込む設計が選択肢になる。
2.1.3 欠損が未観測値に依存する場合
欠測の発生が、観測されていない真値に依存している場合、単純な削除や平均補完は系統誤差を導く恐れがある。この状況では、補完の不確実性をモデル化する、あるいは欠測メカニズムを明示的に扱う枠組みを採用することが重要になる。
2.2 欠損のパターン（構造）
2.2.1 単発的な欠損
単発的な欠損は、特定の行または特定の変数で局所的に値が欠ける状態である。欠損率が低い場合は、行削除でも大きな情報損失にならないことがある一方、欠けた場所が特定の条件に集中するなら、やはり偏り評価が必要になる。
2.2.2 系統的な欠損（特定属性に偏る）
系統的欠損は、特定属性や条件を持つ対象で欠測が増えるパターンを指す。たとえば、特定の年齢層だけ無回答が多い、ある地域でセンサ停止が多発した、などが典型である。この場合、観測だけに基づく推定は母集団の振る舞いを再現しにくくなる。
2.2.3 時系列での欠損
時系列データでは、欠損が時間構造を持ちやすい。断続的な計測停止、特定イベントの前後だけ欠ける、未来に向けた欠測が連鎖する、といった形で現れる。前後の情報が保たれるなら補間が機能しやすいが、欠測がトリガされた事象と関連している場合は注意が要る。
3 欠損の診断と可視化
3.1 欠損率と欠損分布の把握
3.1.1 欠損率の算出
欠損率は、変数ごとに「欠けている割合」を算出することで把握する。行単位の欠損数、変数単位の欠損数、さらに欠損率の分布（最小・中央値・最大）を見ると、処理方針の決定に必要な粒度で実態が掴める。単純な平均欠損率だけでは偏りが見落とされるため、分布表示と組み合わせる。
3.1.2 欠損の偏りの確認
欠損がどのサブグループで増えているかを調べるには、欠測フラグと既知属性のクロス集計、条件付きでの欠損率の比較が有効である。統計量だけでなく、欠損率の高い変数と目的変数の関係を概観し、後で行う補完やモデル化の選択に反映する。
3.2 欠損パターンの可視化
3.2.1 欠損ヒートマップ
ヒートマップは「行×変数」の欠損位置を格子として示す手法である。欠損がランダムに散らばっているか、特定領域に集中しているかが直感的に分かる。集中が確認できた場合、欠測の発生源が共通要因に由来する可能性が高くなる。
3.2.2 欠損の共起（同時欠損）
同時欠損は、複数変数で同時に欠ける頻度を調べることで推定できる。共起が強いなら、単独の補完では整合性が崩れる恐れがあり、多変量の補完、もしくは欠測機構のモデル化が必要になることがある。共起を行列として可視化し、クラスター状のまとまりの有無を確認する。
3.3 欠損メカニズムの推定・検討
3.3.1 比較検定による示唆
欠測している対象と欠測していない対象の間で、観測済み変数の分布が異なるかを比較することで、欠測が独立でない可能性を示唆できる。検定は確定的な証明ではなく、仮説生成のための手段として位置づける。複数変数での比較を行う場合は、誤検出を抑える工夫も考慮する。
3.3.2 モデル化による検討
欠測指標（欠損したかどうか）を従属変数として、観測変数を説明変数にするモデルで発生傾向を表現する方法がある。たとえばロジスティック回帰や木系モデルで欠測確率を学習し、どの変数が欠測を説明するかを確認する。得られた傾向は補完手順の設計、あるいは欠測を特徴量として扱う判断材料になる。
4 欠損への対処法
4.1 代表的な欠損処理の選択肢
4.1.1 欠損を含む行・列の削除
欠損が少ない場合、欠けた行を除外する、あるいは欠損の多い列を落とす、といった手法が採用されることがある。利点は実装が簡単である点、欠損補完の誤差が入らない点である。一方で、欠測が偏っていると母集団の情報が失われ、推定の歪みが増える。
4.1.2 平均・中央値・最頻値による補完
数値変数では平均や中央値、カテゴリでは最頻値で埋める手法が単純補完にあたる。実務では基準値として使われることがあるが、分散を縮め、分布の形を変えるという弱点がある。さらに、欠損の発生が特徴的な集団に偏っていると、補完後の差が過度に薄まる可能性がある。
4.1.3 回帰・機械学習による補完
他の変数から欠けた値を予測する形で補完する方法である。回帰、近傍法、木系モデル、ニューラルネットなどが候補になる。予測器が過学習すると補完値も不安定になるため、学習・評価の分割、正則化、ハイパーパラメータ制御が重要になる。補完対象の変数間の関係を学習できるため、単純補完より整合性を保ちやすい場合が多い。
4.1.4 多重代入の考え方
多重代入は、欠損値の不確実性を反映するために、複数の補完データセットを作って解析を行い、結果を統合する枠組みである。単一の点推定ではなく、補完ごとに揺らぎを与えるため、推定の分散が過小評価されにくい。統合規則は解析手法により異なるが、「補完の不確実性を扱う」という目的は共通している。
4.2 時系列・構造化データ特有の方法
4.2.1 前後補間・ロールフォワード
時系列では前後の観測から補間する手法がよく用いられる。線形補間やスプラインなどの連続補間、イベントに応じた保持（直前値の継続）などが例である。また、ロールフォワードは欠損区間を後続情報で推定する発想であり、データ生成過程に基づいた設計が必要になる。
4.2.2 集計単位での補完戦略
構造化データでは、単一レコードではなく集計単位（期間、区画、カテゴリ別）で情報が成立する場合がある。たとえば日次集計を作ってから欠損値を埋める、集計指標を使って近似する、といった戦略が考えられる。元の粒度に戻す場合は、時間配分や再構成の不確実性が別途課題になる。
4.3 欠損を特徴量として扱う
4.3.1 欠損フラグの作成
欠測自体に情報が含まれると仮定し、欠損有無を示すフラグを特徴量に追加する方法がある。これにより、値の補完が雑であっても欠測パターンの違いをモデルが学習できることがある。フラグ設計は変数ごとに行うのが一般的である。
4.3.2 モデル内での欠損考慮（学習時の扱い）
一部のモデルでは欠損を前処理で埋めるのではなく、学習段階で分岐条件として扱う設計が可能である。欠測の有無で経路を分ける、欠測を許容する損失設計を行う、などの形になる。モデルの適用可能性や実装制約はアルゴリズムごとに異なるため、事前検証で挙動を確認する。
4.4 実務での手順設計
4.4.1 データ前処理の方針決定
前処理は、欠損率、欠損パターン、目的変数との関連、計測過程の理解を踏まえて決める。処理方針を「どの列を対象にするか」「どの割合で削除するか」「補完方法をどう選ぶか」といった決定項目に落とし込み、ドキュメント化して再利用可能にする。
4.4.2 学習・評価の分割とリーク防止
補完や標準化は、訓練データのみに基づいてパラメータを推定し、検証・テストへは同じ変換を適用する。多重代入や機械学習補完でも同様で、欠損補完器の学習にテスト情報が混入すると性能が不当に上がる。分割の単位（行単位か時系列のブロックか）も欠損の性質に合わせて設計する。
4.4.3 チューニングと再現性確保
欠損処理には乱数が含まれることが多い。補完器の学習、初期値、分割手順で再現性が失われないよう、乱数種の固定、バージョン管理、同一データスナップショットの保存を行う。さらに、欠損処理をハイパーパラメータ探索の一部として扱う場合は、探索手順自体がリークしないように注意する。
5 評価と注意点
5.1 補完・削除の効果測定
5.1.1 交差検証での評価
交差検証では、欠損処理を各分割の訓練部分だけで実行し、検証部分へ適用する。これにより、モデルが欠損補完の情報を不正に参照する状況を抑える。指標は目的に応じて選び、単一のスコアではなく誤差分布やキャリブレーションも確認する。
5.1.2 後方視的検証（欠損の疑似作成）
既に観測されているデータから一部を意図的に欠損させ、補完性能を疑似的に評価する手法がある。欠損パターンを現実に近づけることで、実運用時の誤差に近い推定が得られる場合がある。疑似欠損の生成方法は結果に影響するため、複数シナリオで頑健性を確認する。
5.2 バイアスと不確実性の扱い
5.2.1 過補完・過学習のリスク
補完器が過度に複雑であると、欠測に引きずられた整合的な値を作り、最終推定の一般化性能を落とすことがある。特に高次元で欠損率が中程度以上の場合、補完の誤差が予測器に伝播して悪化する。正則化、学習曲線の確認、不要な特徴の削除などが対策になる。
5.2.2 分析解釈への影響
欠損処理後の値は観測ではないため、統計的解釈の前提が変わる。補完で得られた値をそのまま説明変数として解釈する場合、因果的な意味付けはより慎重になる必要がある。変数重要度や回帰係数の比較は、欠損の扱い方に敏感になり得るため、処理条件を明示して報告する。
5.3 欠損の原因に関するドメイン知識
5.3.1 収集プロセスの確認
欠測の発生源を追跡するには、ログ、運用記録、仕様書、UI設計、計測設定などを確認することが役立つ。欠損が「故障によるランダム停止」なのか「入力設計の影響」なのかで、妥当な仮説と処理手段が変わる。技術的な点検結果は、モデル化の前提にも直結する。
5.3.2 欠測の制度的・技術的背景
制度面としては調査設計や回答ルール、技術面としては通信遅延、バッファ上限、欠測補償の有無が関係する。背景を把握せずに機械的に処理すると、欠測の情報を誤って「ノイズ」と見なす可能性がある。欠測仕様は時間とともに変わり得るため、期間で区切った検討も有効になる。
6 運用・ガバナンス
6.1 欠損データの記録と管理
6.1.1 欠損率のログ
運用中に欠損率は変動しうる。定期的に欠損率、欠損分布、欠損の急増を監視し、異常を検知する仕組みを整える。ログには対象期間、対象データ範囲、算出条件を残し、後から検証可能な状態にする。
6.1.2 データ辞書と欠損仕様
データ辞書には、欠損として扱う値（特別コード）、欠測の定義、発生しうる理由、更新頻度を記載する。欠損仕様が曖昧だと、処理系が異なる解釈を持ち統一性が失われる。特に「未入力」と「入力不能」が同じ欠損コードとして混ざる場合は区別方針が必要になる。
6.2 再現性のための実装方針
6.2.1 ランダム性の管理
補完器の学習、サンプリング、分割には乱数が介入することがある。再現性を確保するため、乱数種、サンプル抽出条件、実行環境を管理する。多重代入を行う場合は、代入回数や生成手順を固定し、結果の追跡を容易にする。
6.2.2 パイプラインの統一
前処理、欠損処理、モデル学習、評価を一連のパイプラインとして定義し、同一の手順が再利用できる形にする。部分的な手作業を減らし、入力データのバージョンと出力の対応を明確にすることで、将来の差分調査が可能になる。
6.3 レポートでの報告項目
6.3.1 欠損の概要
レポートでは、対象変数ごとの欠損率、欠損分布、欠損パターンの特徴、期間による変化を示す。さらに、欠損に関連する重要な観測事実（例：計測停止の時期、調査仕様変更）を添えると、読者が解釈の前提を共有しやすくなる。
6.3.2 使用した手法と根拠
どの処理を選び、なぜそれが妥当と考えたかを明記する。削除なら損失とバイアスの見積もり、補完なら方法と評価結果、多重代入なら代入回数や統合手順を報告する。欠損処理に依存する指標の変化も併せて示すと、意思決定の透明性が高まる。