1 探索的解析の位置づけ
探索的解析（EDA）は、データを「理解するための最初の航海」に相当する。解析対象の変数がどのような性質を持ち、どこに注意が必要かを把握し、後続のモデリングや検証の方針を合理的に組み立てるために用いられる。確定的な正解を早急に宣言することを主眼とせず、観察を通じて仮説や改善点を形にする段階である。
EDAは、統計的要約と可視化を中心に、欠測・外れ値・分布の歪み・変数間の関連などを包括的に点検する。これにより、後の推定や評価で発生しがちな誤解（前提の崩れ、前処理不足、見落とした品質問題）を早期に回避しやすくなる。
1.1 目的と期待される成果
EDAの成果は、最終モデルの性能そのものではない。むしろ「どんな問題設定が適切か」「どの変数が主要因として扱われるべきか」「前処理には何が必要か」「データにどんな制約があるか」を明確にする点に価値がある。
期待される成果としては、(1) 主要変数の分布やレンジの把握、(2) 関連の候補（相関や非線形関係）の発見、(3) 欠測や重複の規模の見積もり、(4) 外れ値の性質の確認、(5) セグメント別の違いの初期観察、(6) 次の検証で測るべき指標の決定、が挙げられる。
1.2 科学的方法における役割
科学的方法では、観察から始まり、仮説を立て、検証によって整理していく流れが一般的である。EDAはこのうち、観察と仮説生成の部分をデータ主導で強化する。探索は「仮説のたたき台」を作る工程であり、観察の結果から導いた主張を、そのまま結論として採用するとは限らない。
また、EDAは研究上の前提条件を洗い出す役割も持つ。たとえば分布の形状が強く歪んでいる場合、通常の手法に必要な仮定が成立しない可能性がある。そのため、検証設計を立てる前段として重要な情報源になる。
1.3 他の解析手法との違い
通常の推定・検証型解析は、特定の目的変数や仮定に基づいてモデルを組み立て、評価指標で性能や統計的性質を確認することが中心になる。一方、EDAはモデルの最終形を急がず、データの特徴を掘り起こすことに重点がある。
違いを端的に言うと、EDAは「何が起きているかを知るための作業」であり、検証は「特定の主張が成り立つかを確かめる作業」である。両者は独立ではなく、EDAで得た見立てが検証計画を形作る。
2 基本プロセス
EDAは固定手順というより、段階的に情報を増やしていく進め方として理解するのが実務的である。典型的には、全体把握、品質点検、初期仮説生成、可視化と特徴抽出、前処理の検討へとつながる。
ただし順序は状況により変わる。たとえば欠測が極端に多いデータでは、品質点検を先に行ったほうが可視化の解釈を誤りにくい。全体像をつかむことと、誤った前提で作業を進めないことが両輪となる。
2.1 データの全体把握
全体把握の目的は、データの「置かれている条件」を最初に掴むことにある。データがどのように収集され、どんな形式で格納されているかを理解しないまま分析に入ると、型の不整合や意味の取り違えが起きやすい。
また、この段階で変数同士の関係を勝手に想像せず、手元の情報だけで確かめられる観察を積み重ねる。ここから品質点検や探索の具体策が決まっていく。
2.1.1 データ辞書とメタデータの確認
データ辞書やメタデータは、列の意味、欠測の扱い、符号化方法、カテゴリの定義などを示す。EDAの初期では、まず「各変数が何を表しているか」「値の欠けはどの符号で表されるか」「日付はどの粒度か」といった基本情報を揃える。
この確認は後の可視化や集計設計の前提になる。たとえばカテゴリ変数が実際には文字列コードに過ぎない場合、順序を仮定した集計は誤った結論につながり得る。
2.1.1.1 単位・スケール・符号化の理解
数値の単位やレンジは解釈を左右する。温度が摂氏か華氏か、通貨がどの基準か、時刻がUTCか現地時間かなどは、異常検出や分布比較の結果に直接影響する。
またスケールの符号化（ラベルの順序、カテゴリの並び、欠測の符号、真偽値の表現）も確認が必要である。二値変数を0/1として扱うべきところを文字列として扱うと、集計の挙動が変わることがある。
2.1.2 データの形状（行数・列数・型）の確認
行数と列数は、可視化や計算の選択を左右する。行数が極端に多い場合は、分布を全量で可視化する代わりにサンプリングや集計で要点を掴む方が効率的になる。
列の型（数値、カテゴリ、時系列、文字列、フラグなど）を把握することも重要である。型が曖昧な列は、データの実体が欠損や符号化違いを含んでいる可能性を示すため、品質点検に接続する観察になる。
2.2 データ品質の点検
品質点検では、欠測、重複、一貫性の崩れ、外れ値などを体系的に確認する。EDAは「見て終わり」ではなく、データを利用する前提を整える工程でもある。
ここでの判断は後工程の前処理設計や評価計画に波及する。特に欠測と外れ値は、分布や相関の見え方を大きく変えるため、早期に把握する意義が大きい。
2.2.1 欠測の把握
欠測の量、パターン、欠測の理由の可能性を確認する。欠測がランダムに近いのか、特定の条件下で偏っているのかは、補完方法の選択や解釈に影響する。
また、欠測が意味を持つケース（未申告を示す符号など）では、単純な削除がデータの性質を変えてしまうことがある。欠測がどのように表現されているかの確認も欠かせない。
2.2.2 重複と一貫性の確認
重複はレコード単位、キー単位、観測値単位のどれで起きているかを区別する必要がある。同一人物や同一イベントが複数回記録されている場合、集計の重みが偏る可能性がある。
一貫性は、矛盾する属性が同時に存在していないか、整合するはずの列が一致しているか、という観点で点検する。たとえば日付とイベント状態が矛盾するなら、収集時のエラーや後処理の不備が疑われる。
2.2.3 外れ値の検出と扱い方針
外れ値は、単なる誤差の可能性もあれば、稀だが正しい現象の可能性もある。EDAでは外れ値を「異常」と断定せず、まず検出手段と観察の根拠を明確にする。
扱い方針としては、削除、補正、ロバスト推定、上限下限のクリッピングなどが候補になる。どれを選ぶかは、外れ値の発生メカニズムが理解できるかに依存する。
2.3 初期仮説の生成
初期仮説は、観察から生まれる「検証に値する問い」を形にしたものと捉える。EDAの価値は、結果の断定よりも、次の段階で試すべき方向性を作ることにある。
ここでは、見つけた特徴を単なる偶然として捨てず、再現可能な形で記述することが求められる。仮説化はデータに対する理解を深め、モデリング計画の素材になる。
2.3.1 観察に基づく仮説化
例えば分布が二峰性を示した場合、異なる集団が混在している可能性が仮説になる。また、特定のカテゴリで欠測率が増えるなら、収集過程の条件差を示す仮説が立てられる。
重要なのは、仮説を「説明変数の候補」として具体化すること、そして確認に必要な追加観察（別の可視化、集計、条件付き比較）をセットで考えることである。
2.3.2 仮説の優先順位づけ
仮説が多いほど探索は進むが、全てを同じ深さで検証すると非効率になる。優先順位は、影響の大きさ、データで確かめやすい性質、現場知識との整合性、将来の意思決定に関わる度合いなどで決める。
また、仮説の検証コストも考慮する。たとえば追加データが必要なら、その入手可能性も検討材料になる。
3 可視化による理解
可視化は、複雑な数値情報を人間が扱える形に変換する手段である。EDAにおいては、可視化そのものが目的ではなく、分布の形、ばらつき、関係の兆候、グループ差の存在を迅速に掴むことが狙いとなる。
適切な図は、過剰な解釈を避けるためにも重要である。特に軸のスケール、サンプル数、集計単位が誤っていると、図は事実を伝えなくなる。
3.1 分布の可視化
分布の可視化は、中心傾向だけでなく歪みや裾の厚さ、離散性、極端値の有無を同時に観察できる点で有効である。分布の理解は、外れ値対策や正規化の要否を判断する基盤になる。
さらに、時間変化があるデータでは、単一の分布図よりも期間別の比較図が役立つことがある。
3.1.1 ヒストグラムと密度推定
ヒストグラムは、観測値の集中度を直感的に示す。ビン幅の選択は結果の見え方に影響するため、複数の粒度で確認すると解釈の頑健性が上がる。
密度推定（滑らかな曲線）は、ヒストグラムの段差をならして形状を捉えるのに向く。ただし推定手法やバンド幅の設定が変わると、細かな構造が誇張または隠蔽されることがあるため注意が必要である。
3.1.2 箱ひげ図とロバストな特徴量
箱ひげ図は、中央値と四分位範囲、外れ値候補の位置を同時に表示できる。極端な値がある場合でも中心とばらつきの見通しを保ちやすい。
ロバストな尺度（四分位や中央値）に基づく図示は、平均や標準偏差が歪みの影響を受けやすい状況で特に有用になる。グループ間比較の第一歩としても機能する。
3.2 関係の可視化
関係の可視化では、単純な相関だけでなく、非線形性や分散の変化、交互作用の兆候を捉える。さらに、変数間の見かけの関係が第三要因により生じている可能性も意識する。
適切に図を設計しないと、「見えているが意味のない関連」を強く信じてしまう危険がある。したがって可視化は、仮説生成の材料として扱う姿勢が重要である。
3.2.1 散布図と回帰直線の併用
散布図は、点の分布を直接示すため、外れ値やクラスタ、非線形の気配を確認しやすい。回帰直線を重ねる場合、線形仮定を暗黙に採用しないよう注意が要る。
直線の重ね方は、近似の一種として位置づけるのが無難である。直線の傾きや残差の幅の変化を観察することで、分散の不均一や曲がりの兆候を掴める。
3.2.2 疑似相関と交絡の注意点
疑似相関は、真の因果がないのに見かけの関連が現れる現象である。共通の背景要因（交絡）が存在する場合、二つの変数が似た動きをしていても解釈を誤る恐れがある。
EDAの段階では、条件付き比較や層別の可視化で交絡の存在を探るのが有効である。単一の散布図のみで因果的な結論に飛ぶことは避けるべきである。
3.3 グループ別の比較
グループ別の比較は、全体平均では埋もれる差を浮かび上がらせる。カテゴリや時期などの区分で分布や関係を分けて観察することで、モデル化の際の層別や特徴量設計のヒントが得られる。
ただし、グループサイズが小さすぎると推定や可視化の信頼性が落ちる。EDAでは、その偏りも併せて確認する。
3.3.1 セグメンテーションと集計設計
セグメンテーションでは、どのキーで分割するかが重要になる。頻度の偏りが大きいカテゴリを無理に細分化すると、比較が不安定になるため、粒度を調整する発想が必要である。
集計設計も同様に注意を要する。平均や合計だけでなく、中央値、分位点、分布形状、欠測率など、比較に必要な統計の選び方が結果を左右する。
3.3.2 検定ではなく探索としての読み方
層別した後に見える差は、統計的に有意かどうかとは別に、現象の候補として扱う。EDAでの探索的読み方では、「どの差が目立つか」「どの領域で分布が変化するか」を中心に観察する。
検定の厳密さは後工程に委ねつつ、差の方向性や規模感を把握する。こうした段階的な整理により、検証の質問設計がしやすくなる。
4 要約統計量と特徴抽出
要約統計量と特徴抽出は、数値を圧縮して特徴を捉える手段である。EDAでは、単一の指標に依存せず、中心傾向とばらつき、裾の厚さ、分布の非対称性を複数の観点で掴むことが望ましい。
この段階で「なぜこの特徴量を使うのか」を理由づけできると、後のモデリングが整理されやすくなる。
4.1 要約統計量の選び方
平均や標準偏差は便利だが、歪みが強い場合には誤解を招きやすい。逆に中央値や分位点は外れ値の影響を受けにくいが、変動の細部は見えにくいことがある。
したがって、データの形状に応じて尺度を選び分けることが重要である。EDAでは、観察の結果に合わせて指標を入れ替える柔軟さが求められる。
4.1.1 平均・分散・中央値の使い分け
平均は対称的な分布で代表値になりやすいが、裾が重い場合は極端値に引っ張られる。分散はばらつきを示す一方で、同様に外れ値の影響を受ける。
中央値は順序情報を反映し、外れ値に頑健である。分散の代わりに四分位範囲のようなロバストな指標を使うことで、より安定した把握ができる。
4.1.2 パーセンタイルと分位点
パーセンタイルは、分布の位置を段階的に示すため、比較に適している。たとえば25%点と75%点を併せて確認すると、ばらつきの広がりが分かる。
分位点は、トリミングやウィンソライゼーションの設計にも直結することがある。さらに、上位層と下位層で挙動が異なる場合の探索にも役立つ。
4.2 相関・関連の指標
相関は二変数の関連の大まかな方向性を示すが、関係の形が非線形の場合やスケールが不適切な場合には誤った印象を与えることがある。EDAでは相関を「候補の整理」に使い、過度な一般化を避ける。
また、前提（線形性、外れ値の影響、同分布性など）が揃っているかを常に意識する。必要なら可視化と併用して判断する。
4.2.1 相関係数とその前提
代表的な相関係数は、単調な関係や線形性の程度を要約する。線形な関連が強いほど値は大きくなるが、非線形でも点がまっすぐに見えるケースでは見逃しが起き得る。
さらに外れ値が一部だけ存在する場合、相関係数が極端に動くことがある。前提が満たされるかは可視化やロバスト手法の併用で確認するとよい。
4.2.2 ノンパラメトリックな関連指標
ノンパラメトリックな指標は、分布形状への依存が小さく、順位情報に基づく場合が多い。これにより、極端な外れ値や歪みの強いデータで頑健性が高まる。
また、変数間の関係が単調であれば強く反映されるため、非線形の詳細は別途可視化で補いながら、関連の有無を素早く把握するのに適する。
4.3 次元削減と構造の把握
高次元データでは、全変数を同時に可視化することが難しい。次元削減は、情報の主要部分を少数の軸として表現し、構造やクラスタの存在を観察するために用いられる。
ただし次元削減の軸は解釈が難しいことがある。EDAでは「構造の兆候を見つける」用途として位置づけると、誤解を抑えやすい。
4.3.1 主成分分析
主成分分析は、分散を最大化する方向を軸としてデータを表す手法である。線形変換により、相関構造を圧縮しやすい。
寄与率や累積寄与率を見れば、どれほどの情報が少数の成分に集約されているかを確認できる。成分の解釈は負荷量を参照して行うが、複雑な非線形構造には限界がある。
4.3.2 t-SNEとUMAP（探索用途の理解）
t-SNEは、局所的な近傍構造を保ちながら低次元に写すことを目指す手法として知られる。UMAPも同様に近傍構造を扱うが、計算効率や表現の挙動が異なる場合がある。
これらは探索用途に適する一方、距離の定量的な意味を過信しないことが重要である。パラメータ設定や前処理（スケーリング、距離の定義）によって見え方が変わるため、複数条件での確認が望ましい。
5 前処理の検討
前処理の検討は、EDAで得た知見を実装に落とし込む工程である。スケーリング、欠測処理、外れ値対応、エンコードや派生特徴量の設計などが対象になる。
前処理はモデル性能だけでなく、解釈の妥当性にも影響する。特に学習データと評価データの境界を守る必要がある。
5.1 スケーリングと正規化
スケーリングは、変数の尺度差を揃えることで距離計算や勾配ベースの学習を安定させる。正規化は、基準となる規格化の種類により意味が変わるため、目的に応じて選択する。
EDAで分布の歪みやレンジの差が大きいことが見えている場合、適切な変換（対数、べき変換など）を検討する価値がある。ただし変換の解釈は変わるため、後工程の説明可能性も考える。
5.2 欠測処理の選択肢
欠測処理には複数の選択肢がある。削除は単純だが情報量を減らす。一方、補完は欠測のメカニズムを仮定するため、誤った仮定をするとバイアスの原因になる。
モデル内処理（アルゴリズム側で欠測を扱える仕組み）を使う場合もあるが、手法の制約を理解する必要がある。EDAでは欠測の規模とパターンを把握し、選択の根拠を作る。
5.2.1 削除・補完・モデル内処理
削除は欠測行や欠測列を取り除く方法で、欠測が少数で無作為に近いときに適しやすい。補完は統計量による埋め、近傍推定、回帰による補完などが候補になる。
モデル内処理は、欠測を特別なカテゴリとして扱う、欠測フラグを特徴量化する、あるいは専用の推定を行うなどの考え方がある。どれもメリットと限界があるため、EDAでの観察に基づいて選ぶ。
5.3 外れ値への対応
外れ値への対応は、誤差として排除するのか、分布の一部として扱うのかの方針決定を含む。外れ値がデータ収集の失敗なら削除や補正が合理的なことがあるが、稀な現象が正しく記録されているなら安易な除去は危険である。
EDAでの異常検出結果を参照し、ドメイン知識と照合することが重要になる。
5.3.1 トリミングとウィンソライゼーション
トリミングは、一定の範囲外の観測を取り除く方法である。割合や分位点で境界を定めることで、極端値の影響を抑える。
ウィンソライゼーションは、範囲外の値を境界値で置き換える考え方で、データ数を維持しながら影響を抑えられることがある。どちらも境界の設定が結果を左右するため、分位点や可視化に基づく設計が望ましい。
5.4 エンコードと派生特徴量
カテゴリ変数は、数値として扱える形へ変換する必要がある。代表的にはワンホットエンコーディングや順序情報の扱いがあるが、カテゴリの性質（順序の有無、頻度分布）を確認して設計する。
派生特徴量は、既存列から計算できる指標（比率、差分、集計統計、時系列の特徴など）である。EDAでは関連の兆候を見たうえで、どの変換が意味を持つかを検討する。
6 外れ値・異常の解釈
外れ値・異常の解釈は、単なる統計処理に留まらず、生成過程の理解へ接続する。異常は誤り、特殊ケース、制度上の仕様、もしくは本物の稀事象のいずれである可能性がある。
EDAの段階では、分類のラベル付けが未完成でもよい。重要なのは、どの根拠により異常を「扱い方針」へ反映するかを明確にすることである。
6.1 異常値の原因切り分け
原因切り分けでは、データ入力の失敗、計測条件の違い、欠測の符号化ミス、単位の取り違え、集計粒度の不整合などを疑う。これらは分布の形や他列との整合性から足がかりを得やすい。
また、時期や装置、担当者などの属性と結び付いて異常が偏っているかを見ることで、収集プロセス由来の可能性を評価できる。観察に基づく仮説に沿って段階的に絞り込む。
6.2 ラベル付きデータの活用可否
ラベルが存在する場合、異常の分類に活用できる。しかし、ラベルが付与された条件や頻度、偏り（例えば検知しやすい例だけにラベルが付いている等）を確認しないと学習結果を誤る。
ラベルが欠けている場合は、教師なしの探索やルールベースの候補抽出に留めることが多い。EDAでは、ラベルの信頼性とカバレッジを評価し、活用の範囲を見極める。
6.3 説明可能性の観点
外れ値を検出した後に「なぜ異常と判断されたか」を説明できることは、意思決定の質に直結する。特徴量に基づく理由（例えば特定の条件で分布から大きく逸脱している、他属性との整合性が崩れている等）を整理する。
一方で、複雑なモデルに依存しすぎると説明が困難になる場合がある。EDAの段階では、説明のしやすい指標と検出結果を結び付ける方針が有利になることがある。
7 解析結果の記録と再現性
EDAの成果は、口頭の印象ではなく記録として残すことで価値が増す。再現性は、後日同じデータと同じ前提で観察が再計算できることを意味する。
特にEDAは試行錯誤が多いため、どの可視化設定、どの前処理条件、どのフィルタを適用したかを追跡できる形にすることが重要である。
7.1 エクスプローラトリな意思決定のログ化
ログ化では、判断の根拠と対象範囲を残す。たとえば「列Aの欠測が一定以上だったため削除方針を採用した」「分位点でクリップした理由は外れ値の上位が極端だったため」など、意思決定の背景を簡潔に残す。
また、試したが採用しなかった案も記録すると、後の議論で混乱が減る。探索の歴史が後の検証設計の品質を高める。
7.2 可視化・コードの整理
可視化は固定の設定で再生成できるよう整理するのが望ましい。図の軸、ビン幅、サンプリング方法、色分け規則などをコードとして管理し、変更履歴を追える状態にする。
コードの整理は、探索の再実行だけでなく、共同作業での引き継ぎにも効く。EDAの段階でもモジュール化や命名規則を意識すると、後工程の手戻りが減る。
7.3 レポーティングの注意点
レポーティングでは、何が観察され、何が仮説で、何がまだ未確認かを区別する必要がある。結果の図や要約統計は、前処理をどう扱ったかとセットで示すと誤解が減る。
また、サンプル数や欠測の状況など、解釈の前提を明示することが求められる。EDAは不確実性を含むため、その性質を文章で補うことが重要である。
7.3.1 「探索」と「検証」の区別の明確化
探索は候補を見つける工程であり、統計的に確からしい主張とは限らない。レポートでは、探索的観察としての位置づけを明示し、検定や推定の結果がある場合は別枠で記述する。
この区別が曖昧だと、読み手が探索結果を確定的な結論として受け取る危険がある。段階の違いを明確にし、次の検証計画へ自然につなげる構成が望ましい。
8 よくある落とし穴
EDAは有益だが、誤った使い方をすると判断が崩れる。落とし穴は主に、観察の偏り、手続きの前提違反、解釈の飛躍に集中する。
以下の問題はよく見られるため、EDAのたびにチェック観点として持つと効果的である。
8.1 過度な一般化と主観バイアス
小さなサンプルや限定的な見え方から全体を決めつけると、一般化が破綻する。可視化で目立ったパターンが偶然である可能性を常に残しておく必要がある。
また、人が気づきやすい特徴に引かれて判断が偏る主観バイアスも起こり得る。異なる図や指標で同じ傾向が再現されるかを確認するのが対策になる。
8.2 データリークのリスク
データリークは、学習に使うべきでない情報が推定過程に混入することで過大評価につながる。EDAの段階でも、全データから前処理パラメータを算出してから分割すると起こり得る。
対策として、学習・評価の境界を保った上で前処理を適用する設計が必要になる。EDAで得た知見は重要だが、手順は後の再現性と整合する形で固定することが望ましい。
8.3 スケール依存の誤解
距離や類似度がスケールに依存する手法では、未調整のまま結果を解釈すると誤りやすい。特に次元削減やクラスタリングでは、スケーリング不足が見え方を支配することがある。
EDAでは可視化の見た目だけで判断せず、前処理の選択とセットで理解する姿勢が必要である。変換を変えたときに構造が安定するかを見ると、誤解を減らせる。
8.4 選択バイアスの問題
特定の条件でデータを切り出して探索すると、選ばれた集合に特有の性質が強調される。例えば欠測の少ない部分だけを分析していると、実際の挙動を代表しない可能性がある。
EDAでは、フィルタ条件と除外の規模を明示し、どの母集団を代表しているのかを意識する。切り出しの理由が分析目的に合っているかも点検対象になる。
9 次のステップへの橋渡し
EDAの役割は、次の工程へ知見を引き渡すことにある。橋渡しがうまくいくと、検証計画の質が上がり、無駄な試行が減る。
次のステップでは、仮説を検証可能な形に落とし込み、評価指標と運用上の制約を整理することが求められる。
9.1 仮説検証計画への移行
仮説検証へ移る際には、EDAで立てた候補を「検証可能な主張」に変換する。例えば「特定セグメントで平均が高いか」や「条件付きで関連が残るか」のように、比較の枠組みを定める。
また、サンプル分割や交絡の扱いも計画に含める。探索で見えた差が偶然でないかを見極める設計が必要である。
9.2 モデリング戦略の決定（目的変数・指標・評価）
モデリング戦略では、目的変数の定義と評価指標の整合が中心になる。EDAで観察されたデータの性質（分布の歪み、欠測の偏り、外れ値の存在）を踏まえて、どの損失や指標が適切かを決める。
評価設計では、訓練と評価の分割方法、クロスバリデーションの有無、指標の計測方法を明確にする。これにより、探索の段階で得た知見が性能評価とつながる。
9.3 反復的探索の進め方
実務では、EDAは一度で終わらない。前処理方針を決めた後に再度可視化を行い、選んだ変換が意図した効果を持つかを確認するような反復が起きる。
反復のコツは、変更点を小さくし、各ラウンドで更新する対象を絞ることにある。観察→仮説更新→前処理調整→再観察という循環を作ると、探索が系統だった改善へ結びつきやすい。