1 欠測データの基礎
欠測データとは、本来取得されるはずの観測値が得られなかった状態、またはそうした欠落を含むデータの集合を指す。統計解析や機械学習では珍しくない現象であり、単なる記録漏れにとどまらず、推定や予測の信頼性を左右する重要な論点となる。欠測の生じ方を理解することは、適切な前処理や解釈の前提になる。
1.1 定義
欠測は、変数の値が空白、未入力、取得不能、あるいは不明として扱われる状態である。実際の分析では、数値が入っていないだけでなく、測定不能、回答拒否、機器故障などによる不在も含めて考える。欠測は単純な「ない値」ではなく、なぜ欠けたのかという背景まで含めて扱われる。
1.2 発生の背景
欠測は、調査票の未回答、機器の不具合、入力ミス、追跡不能、記録の省略など多様な要因で起こる。医療、社会調査、実験、業務記録など、領域ごとに発生経路は異なる。ときには高齢者や重症者だけが回答しにくいように、欠落が特定の条件と結びつくこともある。
1.3 データ分析への影響
欠測があると、集計値や回帰係数、分類器の性能評価に影響が出ることがある。影響の大きさは、欠け方の規則性、欠測率、対象変数との関係によって変わる。単に件数が減るだけでなく、分布の形そのものが変質する場合もある。
1.3.1 偏りの発生
欠測が特定の属性と結びつくと、残ったデータが母集団を代表しにくくなる。たとえば、ある層の回答が少ないと、その層の平均値や比率が過小・過大に見積もられるおそれがある。これにより、結論が体系的にずれる。
1.3.2 情報量の減少
値が欠けるほど、利用できる情報は少なくなる。説明変数どうしの関係や、細かな傾向を捉える力も低下しやすい。サンプルサイズが縮小するだけでなく、変数間の比較可能性も損なわれる。
1.3.3 推定精度への影響
欠測は標準誤差や予測誤差を大きくし、推定の不確実性を増やす。とくに欠損が多い場合、モデルの安定性が落ち、再現性も低下しやすい。補完や重みづけを行っても、前提が合っていなければ精度改善は限定的である。
2 欠測の種類
欠測は、その発生メカニズムによっていくつかに分類される。分類は、どの方法が適切かを判断するための基礎であり、理論上の仮定と実務上の処理方針をつなぐ役割を持つ。特に、欠測が観測可能な情報と無関係かどうかが重要である。
2.1 完全に無作為な欠測
完全に無作為な欠測は、値の大小や他の変数の状態と関係なく、偶然に発生する欠落である。英語では MCAR と呼ばれる。たとえば、用紙の紛失や一時的な読み取り失敗のように、欠測の理由がデータ内容に依存しない場合が該当しやすい。
2.2 無作為欠測
無作為欠測は、観測されている他の変数を条件にすると欠測が説明できる状態である。英語では MAR と呼ばれる。たとえば、年齢や性別が分かれば欠測の起こりやすさが把握できる場合である。この場合、観測済み情報を利用した補正が有効になりやすい。
2.3 非無作為欠測
非無作為欠測は、欠けた値そのものに欠測の起こり方が依存する状態である。英語では MNAR と呼ばれる。たとえば、収入が低い人ほど申告を避けるといった状況では、観測された情報だけでは欠測の仕組みを十分に表せない。処理には強い仮定が必要になる。
2.3.1 欠測機構の違い
欠測機構の違いは、統計的にどの仮定が置けるかを左右する。MCAR では単純な分析でも比較的安全だが、MAR では観測変数を組み込んだ補正が必要になる。MNAR では、欠測の理由を明示的にモデル化しないと、偏りを抑えにくい。
2.3.2 分析上の注意点
欠測の分類は、実データでは厳密に判定しにくいことが多い。見た目は MAR に近くても、実際には MNAR が混在していることがある。したがって、安易に前提を固定せず、複数の手法で結果を照合する姿勢が求められる。
3 欠測データの扱い方
欠測への対処法は、大きく削除、補完、重みづけに分けられる。どの方法も利点と限界があり、データの構造や欠測機構に応じた選択が重要である。処理方法は結果だけでなく、解釈の幅にも影響する。
3.1 削除による処理
削除は、欠測を含む行や列を分析から外す方法である。実装が容易で、説明もしやすい一方、情報の損失が大きくなることがある。欠測が少なく、偶然的である場合には一定の有効性を持つ。
3.1.1 完全ケース解析
完全ケース解析は、すべての変数がそろった観測だけを使う手法である。扱いは単純だが、対象件数が大きく減る可能性がある。欠測が無作為でないと、推定が偏るおそれがある。
3.1.2 対象変数ごとの削除
対象変数ごとの削除は、分析に使う変数の組ごとに利用可能なケースだけを採用する方法である。完全ケース解析より柔軟だが、変数ごとに母数が変わるため、比較が難しくなる。分析結果の整合性に注意が必要である。
3.2 補完による処理
補完は、欠けた値を推定して埋める方法である。見た目上は完全なデータに近づくため、解析を継続しやすい。ただし、補完値を真の値のように扱うと不確実性を過小評価する危険がある。
3.2.1 単純補完
単純補完は、平均値、中央値、最頻値、前後の値などで欠損を埋める方法である。手軽だが、分散を小さく見せやすく、関係性もゆがめやすい。探索的な用途には使われることがあるが、厳密な推論には慎重さが必要である。
3.2.2 多重補完
多重補完は、欠損値を複数回推定し、複数の完成データセットを作って統合する方法である。補完の不確実性を反映できる点が特徴で、現代の実務で広く用いられる。観測済み変数の情報を活用するため、単純補完より妥当性が高い。
3.2.3 モデルベース補完
モデルベース補完は、回帰、ベイズ推定、近傍法、行列分解などのモデルを使って欠測を推定する。データの構造を反映しやすく、複雑な関係にも対応しやすい。もっとも、モデル設定が不適切だと、補完結果そのものが誤差を拡大する。
3.3 重みづけによる処理
重みづけは、欠測しやすい観測に補正係数を与え、解析時の代表性を高める手法である。サンプルの選ばれ方や回答のされ方を調整する考え方に近い。補完と比べ、元の観測値をそのまま活かしやすい。
3.3.1 逆確率重みづけ
逆確率重みづけは、観測される確率の逆数を重みにする方法である。欠測しやすいケースほど大きな重みが与えられ、全体の偏りを緩和する。確率の推定がずれると補正も不安定になるため、モデルの妥当性が重要である。
3.3.2 補正の考え方
重みづけの本質は、観測されたデータだけで見えなくなった部分を統計的に補うことにある。補正は完全な回復ではなく、あくまで近似である。したがって、欠測の仕組みと重みの設定を合わせて検討する必要がある。
4 欠測データの評価と実務上の課題
欠測への対応では、手法の選択だけでなく、欠測の全体像を把握する作業が欠かせない。パターン、比率、変数間の関係を確認することで、より適切な処理方針が立てやすくなる。実務では、理論的な最適解よりも、運用可能で再現しやすい方法が重視されることも多い。
4.1 欠測パターンの確認
欠測パターンの確認では、どの変数が同時に欠けているか、特定の集団に偏りがあるかを調べる。表や可視化を用いると、構造的な抜け方を見つけやすい。パターンの把握は、後続の補完法や重みづけの設計に直結する。
4.2 欠測率の把握
欠測率は、全体または各変数における欠損の割合を示す。高い割合であれば、削除による損失が大きくなりやすく、補完の負担も増す。数値が低くても、重要変数に集中していれば影響は無視できない。
4.3 手法選択の基準
手法の選択は、欠測率、欠測機構、分析目的、データ量、解釈可能性を総合して決める。予測重視なら性能、推論重視なら偏りの抑制がより重要になる。単一の万能法はなく、目的に応じた妥協点を見つけることが実務上の要点である。
4.4 結果の解釈と感度分析
欠測を含む分析では、結論がどの仮定に依存するかを明示する必要がある。感度分析を行えば、補完法や重みづけの設定を変えたときに結果がどれほど変動するかを確かめられる。これにより、結論の頑健性をより客観的に評価できる。