1 欠測の基本概念
1.1 欠測の定義と表記
欠測とは、本来観測されるべき統計単位の情報が、何らかの理由で得られていない状態を指す。欠測は「存在しない」わけではなく、「観測されていない」ことに注意が必要である。統計学では通常、観測された部分を \(Y_{\text{obs}}\)、観測されていない部分を \(Y_{\text{mis}}\) と表すことが多い。また、各観測項目が欠測かどうかを示す指標として、観測なら 1、欠測なら 0 のような欠測指標 \(R\) を導入して議論する。
欠測指標は、値の集合と分離して扱える形で設計されることが多い。たとえば \(R=1\) が観測、\(R=0\) が欠測を意味し、ある変数集合についてそれぞれの \(R\) が定まる。欠測メカニズムの議論では、この \(R\) がどの情報に依存するかが中心となる。
1.2 欠測パターン（観測・未観測の形）
1.2.1 単一変数の欠測
単一の変数 \(Y\) に対して欠測がある場合、観測される集合と欠測される集合の分割として捉えられる。観測されていない値の分布が未知である以上、推論には「欠測がどのような値に偏って生じたか」という仮定が必要になる。単純な直感として、同じ対象集団からのサンプルでも、欠測した群が特定の高値・低値に偏るなら、観測データだけで推定した平均や分散は歪みうる。
欠測パターンの記述では、欠測率、観測対象の分布、欠測指標の条件付き頻度がよく用いられる。特に、欠測率が母集団の属性や別変数の値とともに変化するなら、単純な推定の前提が崩れる可能性がある。
1.2.2 複数変数にまたがる欠測
複数変数 \(Y_1, Y_2, \dots\) で欠測が生じると、観測されている変数集合の組合せが複雑になる。たとえばある個体では \(Y_1\) だけ欠測し、別の個体では \(Y_2\) だけ欠測するという具合に欠測パターンが多様化する。一般に、欠測の構造は「どの変数が観測され、どの変数が欠測しているか」というパターンの集合として整理される。
ここで重要なのは、ある変数の欠測が別変数の値に依存しうる点である。観測された情報を用いて欠測を予測できる場合がある一方、観測できない値自体に強く結びつく場合もある。この差が、後段の推論可能性や補完手法の妥当性を左右する。
1.3 欠測変数と結果変数の区別
欠測の議論では、欠測が生じる対象を「欠測変数」として扱い、推論の対象を「結果変数」として区別する設計が一般的である。たとえば回帰では、目的変数 \(Y\) が欠測しているのか、説明変数 \(X\) が欠測しているのかで扱いが変わる。どちらが欠測しているかによって、条件づけの方法、尤度の構築、補完の手順が異なる。
また、複数の結果が想定される場合には、欠測変数と結果変数の関係をどう定義するかが実務上の要点となる。誤って区別を曖昧にすると、補完モデルが本来推定すべき対象を無意識に利用し、解析結果の解釈が混乱することがある。
2 欠測メカニズムの分類
2.1 欠測が起きる仕組みの仮定
欠測メカニズムは、「欠測指標 \(R\) がどの情報に依存するか」という観点で分類される。依存の対象には、観測済みの値 \(Y_{\text{obs}}\) と、未観測の値 \(Y_{\text{mis}}\) が含まれる。加えて、欠測が生じる時点で利用可能な共変量や設計情報が、依存の条件として扱われることもある。
この枠組みでは、同じ欠測率でも仮定が異なると推論の正当化が変わる。分類は便宜的な整理であるが、実務的には分析の前提として重要度が高い。
2.1.1 完全無作為（欠測が値と無関係）
完全無作為は、欠測指標が対象の値そのものに依存しないという仮定に対応する。すなわち、未観測の値がどのような値であろうと、欠測になる確率は変わらないとする考え方である。観測値と欠測値の分布が同一母集団からのランダムな抽出になるため、観測データのみから推論できるケースが増える。
この仮定が成り立つと、欠測による系統的な歪みが理論上は生じにくくなる。ただし、現実のデータでは「値に無関係」という強い仮定を満たすことはまれであり、代替として次の条件付き無作為が検討されることが多い。
2.1.2 条件付き無作為（観測情報に条件づく）
条件付き無作為は、欠測指標が観測された情報にのみ依存するという仮定である。未観測の値 \(Y_{\text{mis}}\) には依存せず、観測されている共変量や観測済みの応答の範囲で説明できるとする。
この仮定があると、条件付きで見れば観測された部分が「欠測しなかった場合の分布」を適切に反映する可能性が高くなる。実務では、欠測と同時に得られている属性変数、設計変数、時点情報などを用いて条件づけを行い、モデル化の妥当性を高める発想につながる。
2.1.3 非無作為（未観測の値にも依存）
非無作為は、欠測指標が未観測の値に依存しうるという仮定である。たとえば、本当の値が高いほど報告が避けられる、低いほど回答が中断されるといった状況では、欠測者の真の値が観測されないまま欠測確率に影響する。結果として、観測データだけでは未観測部分の分布を再現できず、一般にバイアスのリスクが高まる。
非無作為の場合、補完や推定には欠測過程の追加モデル化、または感度分析による仮定の検証がより重要になる。なお、非無作為かどうかを完全に見極めることはデータだけでは困難であるため、外部知識や設計情報を活用することが多い。
2.2 分類の対応関係（典型的なカテゴリ体系）
2.2.1 統計的含意の整理
分類体系では、欠測メカニズムの違いが「どの推論手続がそのまま有効か」という含意として整理される。たとえば完全無作為に近い状況では、通常の完全データ手法を単純に適用できる余地が大きくなる。一方、条件付き無作為では、適切な共変量で条件づけしたモデル設計が必要になり、誤った条件づけは推論の正当性を損ねる。
非無作為では、欠測過程そのものを推定に組み込む、あるいは仮定を変えた推定結果の比較を行うなど、追加の工夫が要請される。分類は「手法選択の指針」として使われることが多い。
2.2.2 実務上の判定観点
実務では、欠測の原因に関する業務的・技術的情報、欠測パターンの特徴、観測データ内での欠測率の差を組み合わせて判定を行う。たとえば欠測率が特定の属性集団に偏る、ある測定機器の世代で欠測が増える、調査票の順序で欠落が増えるなどの兆候があると、単純な無関係仮定は疑われやすい。
また、欠測指標を目的変数とする探索的解析を行い、観測された変数群で予測可能かどうかを見ることもある。予測可能性が高いほど、条件付き無作為に近い説明が立つ可能性があるが、最終的には感度分析や外部妥当性の検討が必要になる。
3 推論と推定への影響
3.1 完全データ仮定が破れる場合
完全データ仮定は、欠測が存在しない、あるいは存在しても推論に影響しないという暗黙の前提を含む。これが破れると、推定量の期待値が真の量からずれる可能性が生じる。特に、観測される値と欠測される値の分布が異なる状況では、単純な平均、分散、回帰係数などが系統的に歪む。
さらに、標準誤差や信頼区間の算出も破綻することがある。欠測が不確実性の源泉として適切に反映されず、過度に楽観的な誤差推定が生じる場合がある。したがって、推論だけでなく不確実性評価にも欠測メカニズムの理解が必要となる。
3.2 各メカニズムでの適用可能性
3.2.1 一般化された推定の考え方
欠測がある状況での推定は、欠測部分をどう扱うかにより「一般化」の方法が変わる。完全ケース分析のように欠測のある個体を除外する手法は、データ欠測が推定対象の分布に対して無偏であるような条件が必要になる。条件付き無作為が成立する場合は、条件付けに用いる情報が適切であれば、除外により得られるデータでも母数をある程度復元できる。
補完による推定は、未観測値の分布を仮定して埋めることで推論を可能にする。ここでも仮定の整合性が重要であり、欠測メカニズムが強く非無作為であると、単純な補完モデルでは整合しない可能性がある。結果として、手法の有効範囲は欠測分類と密接に関連する。
3.2.2 バイアスの発生条件
バイアスは、観測されたデータの情報が欠測によって歪むときに生じやすい。完全無作為では値と欠測が独立のため、観測データが母集団を代表しやすくなる。ただし実務では、見かけの無作為性でも条件変数の取りこぼしがあると、実質的に非無作為に近い挙動が隠れることがある。
条件付き無作為では、条件に含めるべき変数が欠けると、未観測値への依存が「残差」として現れ、補完や除外のいずれでもバイアスが残る。非無作為では最初から未観測値にリンクがあるため、観測部分だけで真の分布を復元しにくい。したがって、欠測原因に関する知見やモデル選択の慎重さが不可欠になる。
3.3 推定誤差と不確実性の評価
欠測データでは、推定誤差は少なくとも「観測誤差」と「欠測による追加の不確実性」を含む。除外法ではデータ量が減るため分散が増えやすい。補完法では、補完モデルが真の欠測機構と一致していない場合の系統誤差に加え、補完に伴うばらつきも反映されるべきである。
不確実性の評価には、推定量の分散推定だけでなく、結果が欠測仮定にどれほど頑健かを確かめる視点がある。感度分析では、欠測メカニズムの仮定を変えたときの推定結果の変化を観察し、結論の信頼度を判断する材料とする。特に非無作為が疑わしいときには、数値的な誤差だけでなく仮定依存性の大きさが重要になる。
4 欠測への実務的アプローチ
4.1 欠測データ診断と検証
4.1.1 欠測率の記述統計
欠測診断の第一歩として、欠測率を記述する。全体の欠測率だけでなく、変数ごと、個体ごと、属性群ごとに分けた値を見ることで欠測構造の手がかりが得られる。欠測が特定の変数に偏るのか、特定のサブグループで増えるのかが整理される。
また欠測の偏りは欠測率の違いとして現れるため、表や図による可視化が役立つ。例えば欠測数の分布、欠測パターンの頻度、観測されている組合せの数などを確認すると、後続のモデル設計の方向性が定まる。
4.1.2 欠測の関連性の探索
欠測指標を結果としてみなし、観測された共変量との関連を探索する方法がよく用いられる。たとえば欠測が「ある属性ほど起きやすい」なら、その属性を条件として取り込むべき根拠になる可能性がある。探索は形式張らない段階で行い、回帰や分類器による欠測予測の可否、特徴量ごとの寄与の程度などから仮説を立てる。
ただし関連性が見つかったからといって、直ちに無作為性が確定するわけではない。関連の背後に未観測値への依存が隠れていることもある。そのため探索結果は、後の感度分析やモデル比較へつなぐための仮説生成として位置づけるのが実務的である。
4.2 欠測処理（補完・除外・重み付け）
4.2.1 除外（完全ケース分析）
完全ケース分析は、欠測のある個体または変数組合せを解析から除外して推定を行う方法である。実装が簡単で解釈も直感的な一方、データが減るため推定の分散が増えやすい。さらに、除外が母集団に対してランダムでないと推定量が歪む。
除外が妥当になりやすい条件は、欠測が解析で使用する情報に対して無偏、あるいは適切に条件づけされた形で無作為性が確保されることに依存する。欠測率が高い場合や欠測が特定の集団で集中する場合、除外の不利が急速に増える。
4.2.2 単純補完とその限界
単純補完は、欠測値を固定値（平均、中央値、最頻値など）で置き換える、あるいは簡易な回帰で埋めるといった手続を指すことが多い。計算が容易であるが、分布の形を歪めやすい。特に分散が過小評価され、標準誤差が楽観的になりがちである。
また、単純補完では欠測の不確実性が十分に反映されない。欠測部分が別の変数と関係している場合にも、その関係を弱くしか表現できず、回帰や推定の係数が系統的にずれる危険がある。これらの限界から、より柔軟な補完や多重手法が検討される。
4.2.3 多重補完の考え方
多重補完は、欠測値を乱数を伴う形で複数回生成し、それぞれの補完データで推定を行った後、結果を統合する考え方である。補完が1回だけだと、補完モデルに基づく不確実性が過小に扱われやすいが、多重化によってばらつきを集約できる。
統合では、推定結果の平均に加えて、補完間のばらつきも考慮して分散を組み立てる。多重補完の性能は補完モデルの妥当性に依存するため、欠測分類と矛盾しない共変量の選択、モデルの妥当性検討が重要となる。
4.2.4 重み付け・モデリングによる補正
重み付けによる補正は、欠測によって過不足が生じた観測データに対して、欠測確率の逆数などに基づく重みを与えることで推定を補正する発想である。欠測確率を正しくモデル化できれば、欠測による偏りを小さくできる。反面、重みは極端な値を持ちうるため、分散が膨らむことがある。
モデリングによる補正では、欠測過程を含む統合モデル、あるいは欠測指標を説明する生成モデルを組み込む。これは非無作為が疑われる場合に特に検討されやすい。ただし、欠測過程を含むためモデルの仮定数が増え、検証設計や感度分析の重要性が増す。
4.3 モデル選択と感度分析
4.3.1 欠測仮定の揺らぎへの頑健性
感度分析は、欠測メカニズムに関する仮定が少し変わったときに、結論がどの程度揺れるかを調べる手順である。たとえば条件付き無作為を想定していたが、実際には未観測値への依存が一部存在する可能性を考え、補完や推定を微調整して比較する。結論が安定していれば、仮定に依存する度合いが小さいと判断しやすい。
一方で推定値が大きく変わる場合、欠測仮定が結論を支配している可能性がある。このときは、解析手順を変えるだけでなく、欠測原因の再評価、追加の外部情報、変数選択の見直しなどを検討するのが一般的である。
4.3.2 代替手法の比較と報告
実務では単一の手法に依存せず、除外、単純補完、多重補完、重み付けなど複数のアプローチを比較し、結果の整合性を確認することがある。比較により、欠測仮定の違いが推定結果に与える影響が見えやすくなる。
報告では、欠測率、使用した手法、モデル化に含めた変数、診断の結果、感度分析の設定などを明確にすることが重要である。これにより、読者は「どの仮定のもとで結論が得られたか」を追跡できる。透明性の高い報告は、欠測データ解析の再現性と意思決定の質を高める。