1 欠測値の基礎
欠測値とは、観測や記録が期待されていたにもかかわらず、実際には値が得られていない状態をいう。数値データに限らず、回答欄の空白、属性の未入力、測定結果の欠如なども含まれる。統計解析では、単なる空欄ではなく、データ生成の過程に関わる現象として扱われることが多い。
欠測は、機器の故障、入力ミス、回収不能、回答拒否、条件分岐、測定の失敗など、さまざまな要因で生じる。原因が異なれば、分析への影響や適切な処理法も変わるため、発生理由の把握は重要である。
1.1 定義
欠測値は、本来観測されるべき変数の値が利用できない状態を指す。実務では、NULL、NA、空白、未回答、記録なしといった形で表されることがある。単に「ゼロ」とは異なり、値そのものが不明である点に特徴がある。
1.2 発生の背景
欠測は、データ収集の初期段階から保存・加工の段階まで、あらゆる場面で起こりうる。たとえば、調査票の記入漏れ、センサーの一時停止、特定条件下での質問非提示、システム移行時の欠落などがある。人為的な見落としだけでなく、設計上の制約によって意図的に生じる場合もある。
1.3 データ分析への影響
欠測が多いと、標本の代表性が損なわれ、推定値や予測結果が不安定になる。さらに、欠測の生じ方がデータの内容と結びついている場合、平均値や相関、分類性能に偏りが入りやすい。したがって、欠測は単なるノイズではなく、分析の解釈を左右する重要な要素である。
2 欠測の分類
欠測の分類は、欠け方の特徴を理解し、対処法を選ぶための基礎となる。代表的には、偶然性が強いもの、条件に依存するもの、観測値そのものに関係するものに大別される。実際には複数の要因が重なり、純粋に一つの型だけに収まるとは限らない。
2.1 完全に偶然な欠測
完全に偶然な欠測は、他の変数や欠測の有無と無関係に発生する欠測を指す。たとえば、記録装置の一時的な故障や、無作為な入力漏れがこれに近い。分析上は比較的扱いやすいとされる。
2.2 条件付きで生じる欠測
条件付きで生じる欠測は、観測されている他の情報に応じて起こる。たとえば、ある属性を持つ人だけが未回答になりやすい場合や、特定の状態のデータだけ測定が抜ける場合である。こうした欠測は、補正をしないと結果に偏りを残しやすい。
2.3 特定の値に依存する欠測
特定の値に依存する欠測は、欠測しやすさが観測対象の真の値と結びついている。たとえば、極端な数値や不都合な結果ほど記録されにくい状況が該当する。これは最も扱いが難しく、単純な補完では誤差を広げることがある。
2.4 その他の分類
実務では、計画的欠測、構造的欠測、検出限界による欠測なども区別される。前者は調査設計上あらかじめ想定された抜けであり、後者は測定装置や観測可能範囲の制約によって生じる。分類を細かく見ることで、現象に即した対応が可能になる。
3 欠測値の検出と把握
欠測の有無や広がりを確認することは、処理方針を決める前提である。表面上は少数に見えても、特定の変数や条件に偏って集中している場合があるため、全体量だけでなく分布や構造を見る必要がある。
3.1 目視確認
最も基本的な方法は、表や集計結果を目で確かめることである。空欄、記号、特定の代替コード、異常な空文字列などを確認すれば、形式上の欠測を把握しやすい。小規模データでは、一覧表示による点検が有効である。
3.2 統計的な把握
変数ごとの欠測率、行ごとの欠測数、欠測を含むケースの割合を算出すると、全体像がつかみやすい。加えて、欠測の有無を目的変数や主要説明変数と比較することで、偏りの兆候を見つけられる。要約統計は、複雑な構造を簡潔に示すのに役立つ。
3.3 欠測の分布の確認
欠測がどの変数に多いか、どの時点や群に集中しているかを調べると、発生の傾向が見える。時系列では連続した欠損が起きやすく、横断調査では特定の設問に集中することがある。分布の確認は、単なる件数確認よりも実態に近い理解を与える。
3.4 欠測パターンの分析
複数の変数が同時に欠測する場合、その組み合わせ自体に意味があることが多い。パターン分析では、欠測の共起関係を見て、共通原因の存在や条件分岐の影響を推測する。欠測行列や可視化を用いると、複雑な欠け方を把握しやすい。
4 欠測値への対処
欠測への対応は、分析目的、欠測の性質、データ量、許容できる誤差の大きさによって変わる。方法は大きく、削除、補完、モデル化、設計上の調整に分けられる。どれを選ぶ場合でも、欠測を機械的に埋めるだけでなく、結果への影響を検討することが求められる。
4.1 削除による対処
欠測を含む観測を分析対象から除外する方法である。手順は単純だが、欠測が多いと情報損失が大きく、偏りを招くことがある。欠測の性質によっては妥当な選択となるが、安易な適用は避けるべきである。
4.1.1 完全事例分析
完全事例分析は、すべての必要変数がそろっている観測だけを用いる方法である。実装は容易だが、対象数が大きく減る可能性がある。欠測が少なく、偶然的であるとみなせる場合に比較的使いやすい。
4.1.2 部分的削除
部分的削除は、変数ごとに利用可能な観測を使い分ける方法である。相関係数や一部の集計では有効だが、解析ごとに標本が変わるため、比較の一貫性が崩れることがある。結果の解釈には注意が必要である。
4.2 補完による対処
補完は、欠けた値を何らかの規則に基づいて埋める方法である。扱いやすくなる一方、推定の不確実性を過小評価しやすい。補完後も、値が真に観測されたわけではない点を意識する必要がある。
4.2.1 単純補完
単純補完は、平均値、中央値、最頻値、直前値などで置き換える方法である。簡便だが、分散を縮めたり、関係性を弱めたりしやすい。探索的分析では使われることがあるが、厳密な推定には不十分な場合が多い。
4.2.2 統計的補完
統計的補完は、回帰、近傍法、時系列モデルなどを用いて値を推定する。変数間の関係を利用できるため、単純補完より自然な値を得やすい。もっとも、仮定やモデル設定に依存するため、適合度や妥当性の確認が欠かせない。
4.2.3 多重補完
多重補完は、欠測値に複数の候補を与え、それぞれで分析した結果を統合する方法である。不確実性を反映できる点が強みで、推定のばらつきをより適切に表せる。現代の応用統計で広く用いられる代表的手法の一つである。
4.3 モデルによる対処
欠測を明示的にモデルへ組み込む方法である。データを無理に埋めず、観測可能な情報だけで推定を行う考え方に近い。欠測メカニズムを仮定したうえで扱うため、理論的な整合性を保ちやすい。
4.3.1 尤度に基づく方法
尤度に基づく方法は、観測された部分から全体のパラメータを推定する。欠測を含む状況でも、モデルの仮定の下で効率よく推定できることがある。高度な数理を要するが、統計理論との親和性が高い。
4.3.2 予測モデルの利用
予測モデルの利用では、回帰木、ニューラルネットワーク、勾配ブースティングなどの学習器が欠測を扱う。欠測そのものを特徴量として利用したり、内部で分岐処理を行ったりする実装もある。機械学習では、精度と実用性の両面から選ばれることが多い。
4.4 分析設計上の工夫
欠測は、後処理だけでなく、最初の設計で抑えることができる。調査票の改善、入力制約の設定、測定手順の標準化、ログ記録の充実などが有効である。発生自体を減らす工夫は、最も基本的で効果の高い対策である。
5 分野別の扱い
欠測値の意味と対処は、分野によって微妙に異なる。統計学では推定の偏りが重視され、機械学習では予測性能や前処理の一部として扱われやすい。データベースでは格納形式や検索条件が焦点となり、調査研究では回答行動や設問設計との関係が重要になる。
5.1 統計学における欠測値
統計学では、欠測機構の仮定と推定の頑健性が中心的な論点となる。欠測を無視すると、推定量の偏りや分散の変化が起こりうるため、理論的な条件に応じて手法を選ぶ。特に、母集団推測を目的とする場面では慎重な扱いが求められる。
5.2 機械学習における欠測値
機械学習では、学習アルゴリズムが欠測を直接扱えるか、前処理が必要かが実務上の関心になる。特徴量の欠損は予測精度に影響するが、欠測の有無自体が有益な情報になることもある。モデル設計では、補完とフラグ付けを組み合わせることがある。
5.3 データベースにおける欠測値
データベースでは、NULLの扱い、検索条件、集計結果への影響が重要である。欠測と空文字列、既定値の区別を明確にしないと、照合や分析で誤解が生じる。設計段階で表現方法を統一しておくことが望ましい。
5.4 調査研究における欠測値
調査研究では、未回答の背景に、質問の難しさ、感情的負担、プライバシー懸念、質問順序の影響などが関わる。回答率の低下は、標本の偏りだけでなく、設問の信頼性にも影響する。調査票の設計と回収方法の工夫が重要になる。
6 欠測値に関する注意点
欠測への対処は、便利さだけで選ぶと誤った結論につながる。見かけ上は整ったデータでも、補完や削除によって情報が変形している場合があるため、判断には慎重さが必要である。分析目的とデータの性質を合わせて検討する姿勢が求められる。
6.1 補完の限界
補完は欠けた値を推定するにすぎず、真の観測値を復元するものではない。特に欠測が多い場合や、値の偏りが強い場合には、推定誤差が大きくなる。補完済みデータをそのまま完全データのように扱うのは適切でない。
6.2 バイアスの発生
欠測が結果に関連していると、削除や単純補完によってバイアスが生じやすい。たとえば、極端な値が失われると平均が変わり、群間差も過小評価されることがある。欠測の構造を無視した処理は、分析全体の信頼性を下げる。
6.3 再現性と報告
欠測への対応方法は、解析手順の一部として明示的に報告することが望ましい。どの変数にどれだけ欠測があったか、どの手法を採用したか、感度分析を行ったかを示すと、結果の再現性が高まる。透明性のある記述は、解釈の妥当性にも寄与する。
6.4 実務上の判断基準
実務では、欠測率の高さだけでなく、目的変数との関係、データ量、解析の種類、解釈上の重要性を総合して判断する。万能な方法はなく、複数の処理を比較することが有効である。必要に応じて、専門家の助言を受けながら方針を決めるのが望ましい。