1 探索的分析の位置づけ
1.1 定義と目的
探索的分析は、データに対する観察と要約を通じて、全体像、潜在的な構造、異常、関係性の手がかりを得るための分析プロセスである。仮説やモデルの前提を最初から固定せず、まず「何がありそうか」を把握する点に特徴がある。目的は、後続の検証的分析（推定や検定、予測モデルの構築など）に進むための意思決定材料を整え、探索の無駄や誤解を減らすことにある。 この段階では、数値の意味づけよりも、データが示す傾向や課題を早期に見つけることが重視される。
1.2 検証的分析との違い
探索的分析と検証的分析は、同じデータでも「進め方の規律」が異なる。探索的分析は、仮説の芽を探す過程であり、観察に基づく仮説候補の生成に焦点がある。一方、検証的分析は、特定の仮説を明確に定め、それに対して証拠を評価する枠組みを優先する。
1.2.1 仮説形成と仮説検証の役割分担
探索的分析は仮説形成に寄与し、検証的分析は仮説検証に寄与する。前者では「どんな説明があり得るか」を広く洗い出し、後者では「その説明がどれだけ支持されるか」を定量的に評価する。探索で得た見通しは万能ではないため、次の段階で再現性や頑健性を確認する必要がある。
1.2.2 予測と記述の関係
両者は予測と記述のどちらにも関わるが、探索的分析では記述的な理解（データの形、変動、偏り）を通じて予測の設計指針を得ることが多い。たとえば、分布の歪みや外れ値の存在は、適切な変換や評価設計に影響する。結果として、探索での発見は、予測性能そのものというより、モデル選択や学習手順の妥当性を支える役割を果たす。
1.3 成果物の種類
探索的分析の成果物には、要約統計や分布の記述、可視化による傾向の把握、欠損・外れ値・品質上の論点の整理、そして仮説候補のリストが含まれる。さらに、次に検証すべき論点の優先順位や、検証時に使う指標・設計案も成果として扱われることがある。 成果物は「最終結論」ではなく、「検証に向けた地図」としてまとめられる。
2 データ準備と前処理
2.1 データ理解のための基本確認
前処理の前に、データの性質を把握することが重要である。理解が不十分なまま集計や可視化を行うと、見かけの相関や不自然な分布を誤って解釈する危険がある。
2.1.1 データ型・単位・範囲の点検
数値、カテゴリ、時刻、文字列などのデータ型を確認し、単位や測定スケールを把握する。範囲（最小値・最大値）や型の整合性（整数に見えるが実は小数である等）も点検対象となる。 また、欠損を表す値（例：-999）を「本当の数値」として扱っていないかも確認する。
2.2 欠損値の扱い
欠損は探索的分析で早期に扱うべき論点である。欠損がランダムではない場合、後続の分析結果が歪む可能性があるため、パターン観察と方針決定をセットで行う。
2.2.1 欠損パターンの観察
どの変数で欠損が多いか、欠損が特定の群や時点に偏るか、欠損同士が同じレコードで同時に起きるかを観察する。欠損率の分布や欠損有無による層別要約を作ると、欠損の性格に関する手がかりが得られる。 欠損の構造を把握せずに補完すると、別の要因を埋め込むことになり得る。
2.2.2 欠損の補完・除外の判断
補完には単純代入、統計モデルに基づく推定、近傍補完などの方法があり、どれを選ぶかは欠損の性質に依存する。除外（リストワイズ、ペアワイズ）を選ぶ場合も、サンプルが縮むことによる偏りを評価する必要がある。 探索段階では、「方針案」と「想定される影響」を記録することが望ましい。
2.3 外れ値と異常の検出
外れ値は、極端な値そのものというより、「データ生成の事情」や「記録・計算上の問題」を示すことがある。探索的分析では、異常の原因を切り分けるために扱う。
2.3.1 可視化による直感的な把握
箱ひげ図や分布図、散布図により、極端値やクラスタ外の点を視覚的に把握する。単変量だけでなく、複数変数の組み合わせで見たときに不自然な点が現れることもあるため、少なくとも主要な関係図では確認する。 外れ値の位置づけ（母集団の一部か、誤りか）を即断しない姿勢が重要である。
2.3.2 妥当性確認と記録
外れ値を特定したら、元データの参照、単位や桁の誤り、計測条件、欠損との関係などを点検し、妥当性を確認する。修正可能な誤記なら訂正し、訂正が難しいなら解析方針（除外、上限下限の扱い、頑健手法の採用など）を検討する。 探索の過程で行った判断は再現性の観点から記録されるべきである。
2.4 正規化・変換の考え方
正規化や変換は、分布の形や距離尺度、モデルの前提条件に影響する。探索的分析では、目的が「見やすさ」なのか「統計的な整合性」なのかを区別して検討する。
通常、歪みが強い場合には対数変換などが検討対象になる。カテゴリはエンコード方式を吟味し、時系列では差分や平滑化を含む処理が議論されることがある。 いずれの場合も、変換の根拠と、元スケールへの戻し方（解釈可能性）を明確にしておく。
3 要約統計と分布の観察
3.1 一変量の要約
一変量要約は、各変数の中心とばらつきを短く捉えるための基本手段である。平均や分散だけに依存せず、中央値や四分位なども併用すると誤解が減る。
3.1.1 中心傾向（平均・中央値）
平均は分布全体の重心を示すが、極端値の影響を受けやすい。中央値は順序統計として頑健で、分布が歪んでいるときに中心の解釈に適する。 探索では、両者の差から分布の歪みや外れ値の存在を推測できる場合がある。
3.1.2 散らばり（分散・四分位範囲）
分散や標準偏差は広がりを表すが、外れ値に左右される。四分位範囲は中央の範囲の広がりを捉えるため、分布の頑健な要約として役立つ。 尺度として何を採用するかは、後続のモデル（例えば線形回帰、距離ベース、木構造モデル等）や評価指標と整合させる。
3.2 分布の形の評価
分布の形は、仮定すべき母集団の性質、変換の要否、異常検出の感度に直結する。したがって、中心とばらつきに加えて形状も見る。
3.2.1 歪度・尖度の確認
歪度は左右の偏りの程度を、尖度は裾の重さやピークの鋭さに関連する指標である。歪みが大きい場合は対称性の仮定が崩れている可能性がある。尖度が高い場合は極端値が増える傾向が示唆される。 これらは厳密な診断ではなく、探索の優先度を付けるための手がかりとして扱う。
3.2.2 ヒストグラムと密度推定
ヒストグラムは区間ごとの頻度を可視化するが、ビン幅に影響される。密度推定を用いると、滑らかな形状の理解を助けることがある。 探索では、複数の設定（ビン幅の調整など）で頑健に見える特徴を優先し、偶然の形を見抜かない工夫が求められる。
3.3 多変量の要約
多変量では、単独の変数では隠れていた構造が現れる。したがって、層別や関係性の要約を段階的に進める。
3.3.1 クロス集計と層別要約
カテゴリ変数同士のクロス集計、連続変数をビン分けした層別要約により、群ごとの中心やばらつき、欠損率の違いを確認できる。 層分けの粒度が粗すぎると差が埋まり、細かすぎると解釈が不安定になるため、探索の目的に応じて調整する。
3.3.2 相互関係の概観
相関係数や散布図により、方向性や非線形性の可能性を概観する。相関は線形関係の目安であり、強い非線形では小さく見えることがある。 そのため、相関の数値だけで結論せず、形状を図で確認する運用が望ましい。
4 可視化による探索
4.1 基本的な図の使い分け
可視化は、計算結果を直感に変換し、見落としを減らす役割を持つ。適切な図の選択は、目的（分布、関係、比較）に依存する。
4.1.1 散布図・相関表示
散布図は2変数の関係を直接示し、線形性、分散の変化、クラスタや外れ値を見分けやすい。相関表示は補助として、方向性の概要を与える。 点の密度が高い場合は透明度や集計点の工夫など、視認性を確保する必要がある。
4.1.2 箱ひげ図と群比較
箱ひげ図は分布の中央値やばらつき、外れ値の位置をまとめて示す。群比較では複数の箱を並べ、条件ごとの中心差や分散差を観察する。 群数が多い場合は読み取り負荷が高くなるため、探索の段階では焦点となる変数に絞る運用が有効である。
4.2 変数間の関係の掘り下げ
関係が線形でない、条件によって変化する、といった状況では、より柔軟な表示が役立つ。
4.2.1 回帰曲線・スムージング
回帰曲線や局所的な平滑化は、非線形な傾向を視覚的に抽出するために使われる。パラメータの設定により形が変わり得るため、探索では複数設定を試すか、過剰な柔軟性を避ける工夫が必要である。 「曲線がある」ことと「因果がある」ことは別であり、解釈には注意を要する。
4.2.2 ヒートマップによる構造把握
ヒートマップは行列状の情報を色で表し、相互関係の全体像を把握するのに適する。相関行列の表示や、欠損の有無、集計値の強弱などを可視化できる。 色の意味（スケール）を明確にし、極端値で色が飽和しない設定を検討する。
4.3 時系列・順序データの可視化
順序や時間の情報は、ランダムな並びとは異なる意味を持つ。時系列では特に、欠損や分断が見た目に影響するため、確認手順が重要になる。
4.3.1 トレンドと季節性の確認
折れ線図により、長期の上昇・下降（トレンド）や周期的な変動（季節性）を観察する。必要に応じて移動平均などで短期変動を抑え、基調を見やすくする。 異なるスケールでの表示（拡大・縮小）を行うと、現象の規模感が掴みやすい。
4.3.2 欠損や分断の見つけ方
時系列では欠損が突然の空白として現れる場合がある。測定装置の停止や集計粒度の変更など、記録上の理由でギャップが生まれることもあるため、欠損点の周辺を点検する。 複数の期間で同様のパターンが再現するかどうかを確認すると、偶然の欠落と構造的な変化を区別しやすい。
4.4 次元削減と俯瞰
多数の変数がある場合、全てを同時に図示するのは難しい。次元削減は、俯瞰を目的として情報を圧縮するために用いられる。
4.4.1 主成分分析（概念整理）
主成分分析は、元の変数から少数の軸を作り、分散の大きい方向へデータを射影する方法として説明される。探索では、寄与の大きい成分がデータの主要な変動源であるかを概観できる。 解釈可能性は常に自動ではないため、負荷量の確認や他の手法との比較が推奨される。
4.4.2 射影によるクラスタの観察
次元削減で得た座標上でクラスタらしき集まりを観察することがある。似たデータが近くに配置されるため、分離度の雰囲気を掴むのに役立つ。 ただし、射影は情報損失を伴うため、クラスタの妥当性は別途検証する必要がある。
5 仮説形成と分析の次の一手
5.1 パターンから仮説へ
可視化や要約で見つかったパターンは、仮説の種になる。仮説へ落とし込む際は、「どの変数の関係が、どの条件で強まる／弱まるのか」を具体化する。さらに、観測された現象がデータ品質の問題（欠測偏り、計測誤差、単位混在）に起因する可能性も併記する。 仮説は幅を持たせつつ、後の検証で評価可能な形に整えることが重要である。
5.2 改善すべき前提の洗い出し
探索では、分析の前提が破れている可能性を早期に見つける。例として、外れ値の存在による頑健性、分布の歪みによるモデル前提、欠損の偏りによる代表性などがある。 また、解釈の前提（指標の定義、集計単位の意味、データ生成過程の理解）も洗い出す対象になる。
5.3 検証的分析への接続
探索の結果を次の段階へ移すとき、検証の設計に落とし込む必要がある。ここでは評価指標、データ分割、推定・検定の枠組みを整える。
5.3.1 適切な指標・モデルの選定
目的に応じて指標（分類なら誤り率や適合度、回帰なら誤差尺度など）を選ぶ。モデル選択では、線形性の仮定や分布の形、外れ値への頑健性、解釈の必要性を考慮する。 探索で得た「変換が必要そう」「非線形の気配がある」といった手がかりは、候補モデルの優先順位を決める材料になる。
5.3.2 データ分割と評価設計の考え方
学習と評価の分離は、汎化性能や推定の妥当性に直結する。時系列なら将来予測の整合性を保つ分割、階層や群があるなら層化の工夫が検討される。 また、探索中に複数の設定を試した場合は、最終評価に向けて情報漏洩を避ける設計が必要になる。
6 レポーティングと再現性
6.1 探索の履歴管理
探索的分析は試行錯誤を含むため、手順の記録が再現性を左右する。実行した前処理、欠損処理の方針、外れ値の扱い、図の生成条件などを追跡できる形で残す。 ログやノート形式の記録、バージョン管理の活用が有効である。
6.2 図表と解釈の報告
報告では、図表に加えて解釈を添える必要がある。どの図がどの論点に対応しているかを明示し、観察した事実と推測を混同しない。 また、対象データの範囲、フィルタ条件、欠測の取り扱いを前提として書くことで、読者が同じ結論に到達しやすくなる。
6.3 恣意性の抑制
探索は柔軟であるべきだが、恣意的な選択が紛れると信頼性が下がる。設定の根拠を明確にし、恣意性を下げる運用が重要になる。
6.3.1 観察と推測の区別
観察はデータから直接得られる事柄、推測は仮説に近い解釈として扱う。文章上でも、断定と可能性の表現を使い分けると誤読が減る。 不確実性の存在を明示し、次の検証で確認すべきポイントとして整理する。
6.3.2 決定理由の明文化
前処理の選択、図の作成条件、閾値設定、除外基準などは、後から追跡できるように理由を記す。たとえば「欠損率が高いため特定の補完方式を採用した」「外れ値は記録誤りの可能性があるため点検した」など、判断の筋を示す。 これにより、同じデータに対して同様の手順を再実行できる状態が保たれる。