1 単純補完の概要
1.1 定義と目的
単純補完とは、欠損した観測値を、統計量（平均・中央値など）や簡易な規則（カテゴリ別集計、前後の値、定数など）で置き換える手法の総称である。欠損があると集計や学習、推定の工程が実行できない、あるいは推定が不安定になるため、計算可能な形に整えることが主な目的となる。あわせて、データ欠損に起因する処理停止や、欠損削除によるサンプル減少も抑えることが狙いになる。
1.2 対象となる欠損データ
1.2.1 欠損の種類（設計上の欠損と偶然の欠損）
欠損は、データ収集の設計方針により発生する場合と、観測の失敗・通信エラー・入力漏れなど偶然の要因で発生する場合に分けて捉えられる。前者は、例えば特定条件のときだけ項目が収集される、任意入力で埋まらないといった性格を持つことが多い。後者は、原因の影響が値そのものに強く結び付かないケースがある。単純補完の妥当性は、この「欠損がどのように生じているか」の理解に左右される。
1.2.2 欠損の割合と偏り
欠損の割合は、補完の影響の大きさを左右する。欠損率が低ければ置換による歪みが目立ちにくいことがある一方、高い欠損率では推定量の安定性や分布形状への影響が顕在化しやすい。さらに、欠損が特定の層（年代、地域、装置種別など）や条件に偏っていると、単純な統計量置換が現実の構造を覆い隠す。したがって「量」だけでなく「偏り」の点検が重要になる。
1.3 単純補完の基本的な考え方
単純補完は、欠損箇所を埋めることで解析や学習を成立させる発想に立つ。中身の情報が欠けている以上、置換値は本来の分布を完全に再現できない可能性がある。そこで運用上は、(1) 欠損の性質が単純置換で許容できるか、(2) 置換が下流のモデルや統計量にどの程度バイアスや分散低下をもたらすか、(3) 欠損そのものが情報を含む場合にどう扱うか、を確認しながら採用するのが基本となる。
2 主な単純補完手法
2.1 平均・中央値・最頻値による補完
2.1.1 数値データへの適用
数値変数の欠損には、平均値、中央値、最頻値（離散化したカテゴリや離散的な値を含む場合）などが用いられることがある。平均補完は計算が容易で、全体の代表値として妥当なことが多いが、分布が歪んでいると置換値が実態からずれる。中央値補完は順序に基づくため、極端な値の影響を受けにくい。運用では、どの統計量が当該変数の分布形状と整合するかを事前に確認し、欠損率も併せて判断する。
2.1.2 外れ値の影響と中央値の利点
外れ値が存在し、かつ欠損がその周辺に偏っている場合、平均による補完は歪みを増幅する恐れがある。平均は全観測値に均等に作用するため、極端な観測が平均位置を引き寄せるからである。中央値はデータ順序の中央に基づくため、外れ値が少数でも全体の代表位置を大きく変えにくい。この性質により、外れ値が多い環境では中央値補完が相対的に安定することがある。
2.2 層（カテゴリ）別補完
2.2.1 カテゴリごとの集計値で埋める
カテゴリ変数に関連して欠損が生じる場合、全体平均で埋めるのではなく、同じカテゴリに属する範囲で集計値（カテゴリ内平均、カテゴリ内中央値、カテゴリ内最頻など）を算出して埋める方法が用いられる。これにより、層ごとの分布差を一定程度保持できる。例えば、製品種別や地域など、欠損の発生が背景条件に依存していると考えられる場合に適用の利点が生まれる。
2.2.2 グループ分割の設計
カテゴリ別補完の成否は、グループの切り方に大きく依存する。細かすぎる分割は、各グループ内の欠損補完に必要な統計量推定を不安定にし、結果として置換値の信頼性を損なう。一方、大雑把すぎる分割は、層間の差を吸収できず平均化の歪みが残る。実務では、各グループのサンプル数、欠損率、カテゴリの持つ意味、下流モデルの使い方を踏まえ、バランスの取れた粒度を選ぶ。
2.3 時系列・順序データでの補完
2.3.1 前後の値による埋め戻し
時系列では、欠損が連続して現れたり、特定の時点で入力が途切れたりすることがある。そのため単純な全期間平均での補完は不自然になりやすい。前後の観測値を使い、欠損箇所を近い時点の値で埋める方法が検討される。例えば、直前値を引き継ぐ、直後の値に置き換える、線形補間で重み付けするなどの選択肢がある。
2.3.2 移動平均・近傍の参照
近傍時点を平均して埋める発想では、移動平均がよく使われる。窓幅（参照する前後の範囲）を決めることで平滑化の強さが調整できる。短い窓は局所性を保ちやすいがノイズの影響も受けやすく、長い窓は安定しやすいが急な変化をならし過ぎる場合がある。順序データに対しても、近傍の概念を定義できる場合は同様の発想が適用できる。
2.4 定数による補完
2.4.1 「欠損」を表すフラグと併用する発想
定数による補完は、欠損箇所を固定値（例：0、-1、特定のラベル）で埋める手法である。単独では、その値が実データとしても意味を持つことがあり、解釈上の混乱や学習上の誤誘導につながる。そこで「欠損したかどうか」を表すフラグ（欠損あり=1、なし=0）を特徴量として追加し、置換値と欠損状態を分離して扱う設計がしばしば採用される。これにより、欠損そのものの情報を利用しやすくなる。
2.4.2 分析への副作用
定数置換は、分布を特定の点に集中させ、分散や分布形状を歪める副作用がある。加えて、欠損が実際には特定の条件に結び付いている場合、固定値が条件と無関係な人工パターンを作り出すことがある。その結果、モデルが欠損値を一種の意味を持つ値として学習してしまい、一般化性能が低下する可能性があるため、置換値の選び方とフラグ併用の設計が重要になる。
3 実務での選び方と評価
3.1 欠損パターンの点検
3.1.1 欠損の可視化と要約
評価の出発点は、欠損がどの変数でどれほど起きているか、どの範囲に偏っているかの把握である。欠損マップ（どこが欠けているかの可視化）、欠損率の一覧、欠損の連続性（時系列での途切れ具合）、カテゴリ別欠損率などの要約が役立つ。これらにより、「単一の単純補完で済ませてよいか」「層別が必要か」「時系列の整合性を保つべきか」の判断材料が得られる。
3.1.2 欠損と目的変数・説明変数の関係
欠損は単なる欠落ではなく、原因が目的変数や説明変数と結び付いていることがある。例えば、特定条件下でのみ計測される項目では、欠損自体が状態の代理指標になることがある。単純補完は欠損メカニズムを推定せずに置換するため、欠損とターゲットの関係を無視すると性能評価が誤解を招く。実務では、欠損有無と目的変数の統計的関係や、欠損が生じる層での平均差などを点検する。
3.2 手法選択の指針
3.2.1 分布が正規に近い場合の選択
数値変数の分布が比較的対称で、外れ値が少なく正規分布に近い性質を持つなら、平均補完は代表値として自然になりやすい。中央値を用いる利点は外れ値耐性にあるため、外れ値が少ない場合は平均と中央値の差が小さく、計算上の単純さから平均を選ぶ運用が成立することがある。いずれにせよ、欠損率と欠損の偏りを伴うかどうかを同時に確認する。
3.2.2 外れ値が多い場合の選択
外れ値が多い、あるいは分布が強い歪みを示すときは、平均補完の置換値が現実の中心からずれやすい。中央値補完はその影響を抑えられるため、まず候補として検討しやすい。さらに、欠損が外れ値側に偏っている可能性がある場合は、欠損フラグの利用や補完後の分布チェックを強めるなど、影響評価を厚くする必要がある。
3.2.3 カテゴリ情報が有効な場合
説明変数や背景条件にカテゴリがあり、そのカテゴリごとに欠損の起こり方や値の分布が違うなら、層別補完の効果が期待できる。全体代表で埋めるより、カテゴリ内部の関係を保持するため、モデルが学習すべきパターンを破壊しにくい。反面、グループが小さいと統計量が不安定になるので、粒度調整や最低サンプル数の設定が実務上の要点となる。
3.3 性能評価と検証
3.3.1 交差検証での扱い
欠損処理は評価手順と密接に結び付く。交差検証では、学習データに含まれる欠損の情報から補完に必要な統計量を推定し、その統計量を検証データに適用するのが基本である。これを怠ると、検証データ側の分布情報が事前に混入し、見かけの性能が過大評価される。単純補完であっても、このリーク防止は欠かせない。
3.3.2 補完前後での分布比較
補完が分布に与えた影響は、欠損領域以外の形状変化として現れる場合がある。補完前後でヒストグラム、箱ひげ図、分位点、歪度・尖度などの指標を比較し、不自然な集中や裾の変化が起きていないかを確認する。カテゴリ別補完では、各層内の分布がどの程度保たれたかも見る。さらに、特徴量間の相関が過度に変化していないかも点検対象になる。
3.3.3 推定量・予測のバイアス確認
補完により推定量の偏りや予測の系統誤差が生じる可能性がある。そこで、欠損率の高いサブセットに対する性能、欠損の有無で分けた残差の傾向、予測値の分布の偏りなどを確認する。回帰だけでなく分類でも、確率の校正や混同行列の偏りが現れることがある。単純補完は「動く」ことが重要だが、「正しい方向の誤差か」を見誤らない検証が必要になる。
4 長所・短所と注意点
4.1 長所（実装容易性、迅速性、再現性）
単純補完は手順が明確で、ライブラリ実装も豊富なため導入が速い。統計量の計算と置換規則の適用という形で完結するため、研究・開発の初期段階でベースラインを作りやすい。さらに、同じルールを使えば再現性が保たれやすく、データ更新時の比較も行いやすい。結果として、欠損が少ない場合や探索的分析の場面では利点が大きい。
4.2 短所（バイアス、分散の過小評価、関係性の破壊）
単純置換は不確実性を表現できず、分散が過小評価されることがある。平均や中央値で埋めると、欠損箇所に対する固有の変動が消え、データ全体が不自然に滑らかになる。加えて、欠損が目的変数や他の説明変数と結び付いている場合、関係構造が崩れる恐れがある。特に相関や回帰係数に影響が出やすく、単純補完だけで最終判断をするのは危険になりうる。
4.3 リスク低減の実践策
4.3.1 欠損フラグ特徴量の活用
欠損そのものが意味を持つ可能性があるときは、欠損有無の指標を追加することで情報を維持しやすくなる。これにより、置換値に付随する人工的なパターンへの依存を軽減できる場合がある。ただしフラグを入れると特徴量数が増えるため、モデル選択や正則化方針に応じた調整が必要になる。
4.3.2 補完結果の外れ値処理
補完によって値の集中が生じたり、境界条件に不自然な値が作られたりすると、後段の処理（スケーリング、学習、外れ値除去）に影響する。そこで、補完後に外れ値検出やクリッピングの方針を検討し、置換値が過度に支配していないかを確認する。ただし外れ値処理もリークや過学習の温床になりうるため、同じく検証手順との整合を取る必要がある。
4.3.3 他手法との比較検討（高度な補完との対比）
単純補完は基準として有用だが、欠損が多い、構造が複雑、欠損の偏りが強いといった状況では高度な補完の検討が合理的になる。例えば、統計モデルに基づく補完、複数変量を使う推定、反復的な推定などは不確実性をより反映できる場合がある。実務では、単純補完をベースラインとして導入し、その後に性能と頑健性の差を比較することで、過剰な手間に対する効果を評価できる。