1 欠損値の概要
欠損値とは、データ表やデータセットにおいて、本来観測・記録されるはずの数値やカテゴリなどの情報が欠けている状態を指す。欠損が存在すると、集計や推定に使える情報量が減り、結果の解釈が難しくなるだけでなく、統計的性質やモデルの学習挙動にも影響が及ぶ。
欠損が問題になる理由は主に2点に整理できる。第一に、欠損の発生が無作為ではない場合、観測されるデータが元の母集団を代表しなくなり、推定に系統的なズレが生じる。第二に、欠損の存在はデータの不確実性を増やし、分散や信頼区間の拡大につながることがある。したがって、欠損の性質を理解し、適切な処理方針を選ぶことが分析の信頼性を左右する。
1.1 欠損値の定義と発生要因
欠損の「欠け方」には複数の背景がある。実務では、単なる入力漏れだけでなく、計測上の制約、対象者の状況変化、データ統合の過程での不整合、さらにはデータ生成仕様に由来する未生成など、原因が多層的になることが多い。
欠損を処理する前に、欠損がどこで生まれ、どのようにデータ内へ反映されたかを把握すると、後段の補完や削除、モデル設計の妥当性が高まる。
1.1.1 データ取得・入力における欠損
データ取得や入力の段階で生じる欠損は、最も目に見えやすいタイプである。フォームでの未入力、入力者の判断、端末や通信の不具合など、運用要因が欠損を発生させる。
また、欠損の理由が分析対象に関わる情報と結びついている場合、単に欠けた値として扱うとバイアスが入りやすい。よって、欠損の発生プロセスを業務文脈とともに確認することが重要になる。
1.1.1.1 欠席、未回答、入力漏れの例
欠席や未回答は、調査・申請・観測における参加条件や回答意思の影響を受けやすい。たとえば健康関連のアンケートでは、症状が強い層ほど回答しない、あるいは逆に受診中のため回答できないなど、欠損と結果に関連が生まれる可能性がある。
入力漏れも代表的で、手入力の際の転記ミス、必須項目のスキップ、桁数の不整合による自動エラーなどが起因する。結果として欠損は「特定の入力者」「特定の画面」「特定の時期」といった偏りを持つことがあり、診断段階で注意深い点検が必要になる。
1.1.2 計測・収集・統合における欠損
計測や収集の過程では、センサーや検査の限界、観測条件の不成立、データ欠落の連結失敗などによって欠損が発生しうる。たとえば機器の校正不良や通信断により、一定時間のデータが欠けることがある。
さらに複数ソースの統合では、キー（ID）の不一致、粒度の違い、取得タイムスタンプの取り扱いなどが原因で「本来対応づくはずの値が見つからない」状態が生まれる。統合後に出現する欠損は、後で見れば入力漏れとは区別がつきにくいため、統合ロジックの確認が欠かせない。
1.2 欠損の種類（欠損メカニズム）
欠損の発生理由を統計的に分類する枠組みとして、「欠損メカニズム」を考える。ここでは、欠損がどの情報に依存しているかに着目し、無作為性の仮定の有無を明確にする。
分類は、どの処理がバイアス抑制に有効かを左右する。特に補完や尤度ベース推定では、欠損メカニズムの仮定が結果に強く影響する。
1.2.1 ランダムに起きる欠損の考え方
ランダムに起きる欠損の考え方では、欠損が観測された情報とは無関係で、観測できない値そのものにも直接関連しないと仮定する。直観的には「欠け方が偶然に近い」状態である。
この仮定が成り立つなら、単純な削除でも推定に大きな歪みが生じにくい場合がある。一方で実務では「完全に無作為」を証明することは難しいため、診断結果や業務理解に基づき、妥当性を検討する姿勢が求められる。
1.2.2 観測値に依存する欠損の考え方
観測値に依存する欠損では、欠損の確率が観測済みの特徴量にのみ依存し、観測されていない値には依存しないと考える。たとえば回答時点での属性（年齢層、地域、職種など）が欠損率を左右し、目的変数そのものとは切り離されるケースが該当しうる。
この場合、観測済みの変数を用いて欠損の選別傾向を調整できる可能性がある。欠損フラグの導入や、補完モデルで適切な説明変数を含めることが有効になりやすい。
1.2.3 未観測の値に依存する欠損の考え方
未観測の値に依存する欠損では、欠損の発生が欠けている変数の値そのものに関係する。例として、測定値が一定以下のときだけ記録が保存されず欠損として残る、あるいは強い症状ほど回答を避けるなどが挙げられる。
この状況では、欠損を単純に補完したり、欠損行を削除するだけでは、母集団を代表しないまま推定が進むおそれがある。したがって、業務メカニズムの理解に加え、感度分析や頑健な推定設計が必要になることが多い。
1.3 欠損が分析へ与える影響
欠損は、データ量の減少にとどまらず、統計量の性質や学習アルゴリズムの挙動に直接影響する。影響の方向は欠損メカニズムと処理方法の組合せによって変化するため、個別に見積もることが望ましい。
以下では、代表的な影響を整理する。
1.3.1 推定のバイアス
欠損が無作為ではない場合、観測されるデータは特定の条件を満たす部分集合になる。結果として平均や回帰係数、分布の推定が歪む可能性がある。
特に、欠損と目的変数が結びつく場合、削除によって「比較対象」が変わり、見かけ上の関係が強調または弱化することがある。補完でも、仮定と整合しない方法を選ぶと、誤った情報を埋め込むことでバイアスが固定化されることがある。
1.3.2 分散・不確実性の変化
欠損により観測情報が減ると、推定量の分散が大きくなり、信頼区間が広がる傾向がある。さらに補完を行うと、補完の不確実性の扱いによっては、過度に確信度が高い推定になることがある。
多くの実務では、欠損がもたらす情報欠落と、補完が導入する追加のばらつきを区別して評価する必要がある。結果の解釈には「どれだけの不確実性を正当に反映したか」が重要になる。
1.3.3 モデル性能の劣化
機械学習では欠損処理が性能に直結する。削除によりデータサイズが縮小すると学習が不安定になりやすい。逆に単純補完では、特徴量の分布が歪み、モデルが実在しないパターンに適合することがある。
また、学習時と推論時で欠損の扱いが一致しないと、分布の不整合により性能が落ちる。さらに、欠損を放置して機械的に欠損ゼロ扱いするなど、意味のない値を混ぜる運用も性能劣化の原因になる。
2 欠損の把握と診断
欠損処理の前段では、現状把握が中心となる。目的は、欠損率の規模感、欠損の偏り、欠損と他変数の関係を明らかにし、後続の削除・補完・モデル設計の選択肢を絞り込むことである。
診断の結果は、処理の妥当性を説明する根拠にもなる。
2.1 欠損の割合（欠損率）の評価
欠損率は、どの程度の情報が失われているかを示す基本指標である。欠損が少なければ単純な処理が許容されることもあるが、欠損が多い領域では方針転換が必要になる。
欠損率は「列（特徴量）ごと」と「行（サンプル）ごと」の両面から確認するのが一般的である。片側だけ見ていると、処理の影響が偏る。
2.1.1 属性別・行別の欠損率
属性別の欠損率では、特定の特徴量に欠損が集中しているかどうかを把握する。欠損の多い特徴量は、削除で情報損失が大きくなったり、補完で仮定負荷が高くなったりする。
行別の欠損率は、サンプル単位で欠損がどれほど揃っているかを示す。ある集団だけが欠損を多く含むなら、その集団の性質が推定に入り込むかどうかが結果へ直結する。
2.1.1.1 欠損の多い特徴量の扱い方針
欠損の多い特徴量は、削除による情報喪失と、補完による不確実性増加のバランスで方針が決まる。欠損が極端に高い場合、補完しても実質的な学習に寄与しにくいことがある。
方針の一例として、欠損率が高い特徴量は「欠損を含むまま別の表現へ変換する」「欠損フラグで存在情報を利用する」「他変数との相関が強いなら補完モデルの設計に資源を割く」といった選択が検討される。最終的には目的変数との関係と、モデル種別に応じた再評価が必要になる。
2.2 欠損パターンの可視化
欠損の割合だけでは、欠損が「どのように」現れているかが分からない。可視化は、パターンを直感的に把握し、欠損メカニズムの手がかりを得るために有効である。
ここで重要なのは、単一の指標で判断せず、複数の図を組み合わせて解釈する点である。
2.2.1 欠損ヒートマップの読み取り
欠損ヒートマップは、行と列を格子状に配置し、欠損の有無を色で表す手法である。読み取りの観点としては、欠損がランダムに散らばっているのか、特定の帯状・塊状に集中しているのかを確認する。
塊状にまとまる場合、収集タイミングや装置の稼働状態、バッチ処理の失敗など運用イベントの影響が疑われる。帯状は、特定の属性群が同じ条件で欠損になっている可能性を示す。
2.2.2 ブロック状欠損と構造の推定
ブロック状欠損とは、複数の特徴量が同じ領域で同時に欠けているように見える状態を指す。これは、測定設計の依存関係や分岐条件、あるいは複数項目が同一の入力画面に紐づいている場合に起こりやすい。
このパターンは「欠損が独立ではない」ことを示唆する。したがって、補完の際は単純な列ごと平均補完に頼るのではなく、関連する特徴量をまとめて扱う設計が適合することがある。推定では、グループ単位の欠損発生モデルを検討する余地も生まれる。
2.3 欠損の相関・偏りの検査
欠損が他の情報と結びつくかどうかは、診断の核心である。欠損率の大小だけでなく、欠損が特定の条件と同時に起きるかを調べることで、適切な処理を選ぶ判断材料になる。
ここでは、欠損フラグや関連特徴量との検査を中心に整理する。
2.3.1 欠損フラグと目的変数の関係
欠損フラグとは、「その変数が欠けているかどうか」を表す派生特徴量である。欠損フラグが目的変数や重要なアウトカムと有意に関係する場合、欠損は無作為ではない可能性が高い。
関係が見つかったとき、欠損は情報を含んでいると解釈できる場合がある。たとえば欠席が結果に結びつくなら、「欠席している」という状態自体が意味を持つことがある。この場合は、欠損を単なる欠落として埋めるより、存在情報をモデルへ反映する方が妥当になり得る。
2.3.2 欠損と説明変数の関係
欠損が説明変数と相関しているかを検査することで、観測済み情報に依存するタイプかどうかの手がかりを得られる。たとえば特定の端末種類で特定の項目だけ欠けやすい、あるいは地域差が大きいなどが見えることがある。
この検査は補完モデルの設計にもつながる。欠損と相関する説明変数を適切に含めることで、推定の歪みを抑えられる場合がある。逆に、説明変数との関係が弱いなら、欠損処理の選択肢を再考する判断材料になる。
3 欠損値の処理方法
欠損処理は「どの情報を残し、どの仮定で欠けを補うか」を決める作業である。削除、補完、モデル側での扱いの3系統が基本となる。
最適解はデータ特性と目的に依存するため、単一手法に固定せず比較検証することが実務では重要になる。
3.1 削除による処理
削除は、欠損を含むデータを取り除くことで、扱いの単純さを得る方法である。とくに欠損率が低い場合に採用されやすい。
ただし削除は情報を捨てるため、サンプルの代表性が変わる危険がある。削除後の分布変化や性能劣化を必ず確認する必要がある。
3.1.1 行削除（リストワイズ）
行削除は、所定の特徴量のいずれかが欠けている行を丸ごと除外する方式である。リストワイズは実装が容易で、欠損の扱いが複雑になりにくい。
一方で、多くの特徴量が同時に欠ける構造があると、対象行の除外が急増し、学習データが小さくなる。結果として過学習や性能低下が起こる可能性がある。
3.1.2 列削除（ペアワイズの考え方を含む）
列削除は、欠損が一定以上ある特徴量を取り除く方法である。列を削ることで特徴量空間の次元が減り、補完やモデリングの負荷を軽減できる。
また統計的な集計では、ペアワイズの考え方に近い運用として、「必要な組み合わせだけで欠損を無視して計算する」形が現れることがある。ただし機械学習の学習・評価では計算の整合性が崩れやすいため、手法ごとに採用の妥当性を確認する。
3.1.3 削除基準の設定
削除基準は恣意的になりやすい領域である。よって、欠損率だけでなく、欠損が偏っている兆候、目的変数との関係、特徴量の役割（主要変数か補助変数か）を総合して決める。
さらに、削除後のサンプル数が十分か、分布が大きく変わっていないか、モデルの安定性が保たれるかを検証することが望ましい。基準は一度決めたら終わりではなく、検証結果に応じて調整する対象である。
3.2 補完（イミュテーション）による処理
補完は、欠けた値を推定して埋める方法である。補完の選択は、欠損がどの程度複雑な構造を持つかに応じて変わる。
補完は「ある仮定の下で欠損を復元する」ため、単純で強い仮定ほどバイアスや分散の見積もりに影響を及ぼすことがある。そのため、手法比較と妥当性評価が重要になる。
3.2.1 単純補完（平均・中央値・最頻値）
平均、中央値、最頻値といった単純補完は、計算が容易で安定性が高い。数値変数では中央値が外れに頑健である場合が多く、カテゴリ変数では最頻値が自然な基準になる。
ただし単純補完は分散を過小評価しやすく、データの多様性を減らす。欠損が多い場合や、欠けの発生が目的と結びつく場合には、補完が誤情報を導入する危険がある。
3.2.2 近傍補完（k近傍など）
近傍補完では、欠損がないサンプルのうち類似した観測を見つけ、その周辺情報から値を推定する。直感的には「似ている人の値で埋める」設計に近い。
この方法は、欠損が特徴量空間上の類似性と関係する場合に有効になり得る。ただし距離尺度の選定、スケーリング、カテゴリ変数の扱いなどで結果が変わるため、前処理の設計が重要になる。
3.2.3 回帰・予測モデルによる補完
回帰や機械学習モデルを用いて、欠損している変数を他の特徴量から予測して補完する方式である。数値・カテゴリの双方に対応しやすく、データの依存構造を取り込める点が利点になる。
一方で、補完用モデルが過学習すると欠損補完に誤差が持ち込まれる。さらに、補完の学習に使うデータの取り扱い（特に検証やテスト分割）を誤ると、情報漏洩につながるため、パイプライン設計が不可欠となる。
3.2.4 多重補完（複数データによる不確実性の反映）
多重補完は、欠損値の不確実性を反映するために、複数の補完結果を生成し、それらを用いて推定を繰り返す考え方である。補完の揺らぎを推定の揺らぎとして扱えるため、単一補完より不確実性の見積もりが整うことがある。
ただし計算コストが上がり、実装や評価の管理が難しくなる。にもかかわらず、欠損率が高い場合や意思決定で不確実性を適切に伝える必要がある場合には検討価値が高い。
3.3 モデル側での扱い
欠損処理をデータ前処理だけで完結させず、学習モデルに欠損を直接扱わせる方針もある。狙いは、欠損の存在情報や欠損に紐づくパターンを学習に活かすことにある。
ただし、モデルが欠損を正しく解釈するように設計し、評価時も同一の扱いを維持する必要がある。
3.3.1 欠損を特徴量として扱う（欠損フラグ）
欠損フラグは、各特徴量について欠損の有無を示す二値変数を追加する手法である。欠けていること自体が情報になる場合、性能向上や解釈性の改善が期待できる。
数値の補完と併用してもよい。単純補完により分散が縮む問題を、欠損フラグが部分的に補うケースもある。設計では、フラグの数が増えすぎないよう注意が必要である。
3.3.2 欠損を内包する学習手法の利用
一部の学習手法や実装では、欠損値を特別な分岐で扱う、あるいは欠損を前提とした目的関数を持つことがある。これにより、前処理での補完を最小限に抑えられる場合がある。
ただし、手法の対応範囲（欠損の型、カテゴリの扱い、学習時の欠損状況と推論時の整合）を確認する必要がある。データの欠損構造が複雑な場合、モデル側の取り扱いが常に有利とは限らないため、比較評価が不可欠になる。
3.3.3 不完全データ前提の評価設計
欠損を含むデータでの評価では、分割方法と指標の定義が重要である。たとえば学習で欠損を補完した場合、その補完手順が検証データに対しては学習されないように設計する必要がある。
また、欠損が多い領域での性能を見落とすと、全体指標だけでは実態が分からない。評価設計では、欠損率帯ごと、欠損パターンごとなどに分けた検証を行うと意思決定に有用な情報が得られる。
4 実務での選択指針
実務では、欠損処理の選択は「目的」「データ状況」「運用制約」「説明責任」の4要素に影響される。モデル精度だけでなく、結果の説明可能性や再現性も含めて判断する必要がある。
以下では、目的別の推奨フロー、品質と意思決定の観点、検証と再現性の観点を整理する。
4.1 目的別の推奨フロー
目的に応じて、削除中心か、補完中心か、モデル内包かが変わる。特に予測と記述は評価軸が異なるため、同じ欠損処理でも妥当性が変化する。
4.1.1 予測目的の場合
予測では、目的変数との関連を保ちつつ、学習データの代表性を損ねない処理を選ぶことが基本になる。欠損率が低いなら削除や簡易補完で十分な場合があるが、欠損が偏っている兆候があれば欠損フラグや予測モデル補完の検討が適切になる。
手順としては、診断で欠損パターンと相関を把握し、ベースライン（例えば単純補完＋欠損フラグ）を作る。その後、より複雑な補完やモデル内包を追加して性能差を検証する流れが現実的である。
4.1.2 記述統計・可視化目的の場合
記述統計や可視化では、推定の仮定を強くする補完より、欠損の存在を明示した表現が重要になることがある。平均や分布の比較を行う際には、欠損がどの群に集中しているかを先に示すと誤解が減る。
可能なら、欠損率とともに集計値を併記し、必要に応じて複数補完や感度分析の結果を添える。可視化では、欠損ヒートマップや欠損率の層別を組み合わせ、欠け方の構造を伝える工夫が求められる。
4.2 データ品質と意思決定
欠損処理は技術的判断だけでなく、データを生み出す業務の理解に支えられる。品質管理の観点では、「再収集で改善できる欠損か」「仕様由来の欠損か」「入力ミスに近いか」を分けることが意思決定に直結する。
4.2.1 欠損発生の業務的背景の確認
欠損の原因が業務プロセスにある場合、後処理での補完より先に、発生源の改善がコスト効率の良いことがある。たとえば必須項目の入力制約が緩い、通信が不安定、計測装置の運用ルールが曖昧などが原因なら、欠損削減によって後工程の負担も減る。
また、欠損が意図的に設計されている場合（条件分岐で測らない、未検査項目として扱うなど）は、補完の意味が変わる。仕様としての欠損を理解し、処理方針をそれに合わせる必要がある。
4.2.2 取得ルールと再収集の検討
再収集は、欠損の割合や重要度に応じて検討する。重要な特徴量で欠損率が高く、かつ再取得が可能なら、補完より優先度が上がることがある。
一方で、再収集が困難またはコストが大きい場合は、補完と評価設計で品質を担保する方向へ進む。ここでは、欠損による不確実性が意思決定にどの程度影響するかを基準に、投資対効果を整理することが実務上の要になる。
4.3 検証と再現性
欠損処理は、評価設計とパイプライン管理なしには再現性を持ちにくい。特に補完では学習・検証分割を誤ると、情報漏洩が起こる。これは性能の見かけを過大評価し、実運用で破綻する原因になる。
4.3.1 パイプライン化とバージョン管理
欠損処理の手順（欠損診断、補完学習、欠損フラグ生成、削除ルール）は、推論時にも同じ仕様で再適用される必要がある。これを確実にするため、処理をパイプラインとして固定し、データ前処理とモデル学習の順序を明文化する。
また、コードの版管理に加え、補完モデルの学習に使った特徴量の範囲や欠損基準の閾値も追跡対象にすることで、後から結果の整合性を検証できる。
4.3.2 学習・検証分割を踏まえた補完手順
補完モデルを使う場合、補完用の学習はトレーニング部分に限定し、検証・テストには同じ変換ルールを適用する。単純補完であっても、平均や中央値を全データから計算するとリークのリスクがある。
したがって、欠損処理の統計量や予測器を、分割後のトレーニングから推定し、残りへ転用する設計を徹底することが重要になる。これにより性能評価が実運用に近づく。
4.3.3 テストデータに対するリーク防止
リーク防止では、欠損の補完や特徴量変換に用いた情報がテストから混入していないかを確認する。たとえばテスト側の欠損率に基づいて削除基準を変える、テストの分布を見てスケーリングを調整するなどは、結果を不正確に押し上げ得る。
さらに、欠損パターンの診断結果を意思決定に使う場合でも、その判断が検証・テストへ影響しないよう手順を分ける必要がある。検証の透明性を確保し、実装段階でチェックリスト化することが有効である。