1.1 定義と目的
データマイニングは、大規模なデータセットから統計的手法、機械学習、データベース技術などを用いて、未発見のパターン、相関関係、異常値、傾向を自動的または半自動的に抽出する情報科学の一分野である。その目的は、生データを構造化された理解可能な知識へ変換し、意思決定を支援することにある。データマイニングは知識発見（KDD）プロセスの中核を成し、ビジネスインテリジェンス、科学的研究、マーケティング、医療診断など多岐にわたる領域で応用される。
1.2 歴史的発展
データマイニングの起源は、1980年代後半から1990年代にかけてのデータベース技術と機械学習の融合にある。当初は「データベースにおける知識発見」という名称で研究が進められ、統計学や人工知能の手法が大規模データに適用された。1990年代には商用ツールの登場とともに実用化が進み、2000年代以降はビッグデータの台頭により、分散処理やリアルタイム分析と結びついて発展を遂げた。
1.3 データウェアハウスとの関係
データウェアハウスは、複数のソースから統合されたクリーンなデータを保存するリポジトリであり、データマイニングの前段階として重要な役割を果たす。データマイニングは、データウェアハウスに蓄積された大規模データからパターンを抽出するプロセスであり、両者は相補的な関係にある。データウェアハウスが安定したデータ基盤を提供し、データマイニングがその価値を引き出す。
2.1 分類
分類は、事前に定義されたクラスにデータを割り当てる教師あり学習手法である。ラベル付きデータを使用してモデルを学習し、未知のデータのクラスを予測する。
2.1.1 決定木
決定木は、木構造を用いて分類ルールを表現する手法である。各ノードで属性に基づく分岐を行い、リーフノードでクラスを決定する。解釈が容易で、計算コストが低い一方、過学習しやすい傾向がある。
2.1.2 ニューラルネットワーク
ニューラルネットワークは、生物の神経回路を模倣した多層構造のモデルである。入力層、隠れ層、出力層から構成され、複雑な非線形関係を学習できる。深層学習の発展により、画像認識や自然言語処理で高い性能を示す。
2.1.3 サポートベクターマシン
サポートベクターマシン（SVM）は、データを分離する超平面を最大化するマージン原理に基づく分類手法である。カーネル関数を用いて非線形分類にも対応でき、高次元データで高い汎化性能を発揮する。
2.2 回帰
回帰は、連続値を予測する手法である。入力変数と出力変数の間の関係をモデル化する。
2.2.1 線形回帰
線形回帰は、入力変数と出力変数の線形関係を仮定する最も基本的な回帰手法である。最小二乗法を用いてパラメータを推定し、予測値と実測値の差を最小化する。
2.2.2 非線形回帰
非線形回帰は、多項式や指数関数、ロジスティック関数などの非線形モデルを用いてデータの複雑な関係を捉える手法である。ニューラルネットワークやカーネル回帰などが該当する。
2.3 クラスタリング
クラスタリングは、教師なし学習の一種であり、データを類似度に基づいてグループに分割する手法である。未知の構造を発見するために用いられる。
2.3.1 K平均法
K平均法は、あらかじめ指定したクラスタ数Kにデータを分割する手法である。各データ点を最近傍のクラスタ重心に割り当て、重心を再計算する処理を収束まで繰り返す。計算が高速で大規模データに適するが、初期値に依存する弱点がある。
2.3.2 階層的クラスタリング
階層的クラスタリングは、データを段階的に結合または分割して階層構造を生成する手法である。凝集型と分割型があり、結果はデンドログラムで視覚化される。クラスタ数を事前に指定する必要がない点が利点である。
2.4 アソシエーションルール
アソシエーションルールは、トランザクションデータ内のアイテム間の共起関係を発見する手法である。典型的な応用例は市場バスケット分析である。
2.4.1 アプリオリアルゴリズム
アプリオリアルゴリズムは、頻出アイテムセットを効率的に発見する手法である。アプリオリ原理（頻出アイテムセットの部分集合は頻出である）を利用して候補を絞り込み、計算量を削減する。
2.4.2 FP-Growth
FP-Growthは、頻出パターン木（FPツリー）を構築することでアプリオリアルゴリズムの候補生成を回避し、高速に頻出アイテムセットを抽出する手法である。大規模データセットでも効率的に動作する。
2.5 異常検知
異常検知は、データの中で通常とは異なるパターンや外れ値を特定する手法である。不正行為やシステム障害の検出に利用される。
2.5.1 統計的異常検知
統計的異常検知は、データの確率分布を仮定し、その分布から大きく外れた点を異常と判定する手法である。ガウス分布やポアソン分布などのモデルに基づく。
2.5.2 近傍法に基づく異常検知
近傍法に基づく異常検知は、データ点の近傍との距離や密度を用いて異常度を評価する手法である。k近傍法や局所外れ値因子（LOF）などが代表的であり、分布の前提が不要で柔軟性が高い。
3.1 データ前処理
データ前処理は、生データを分析に適した形に整える工程であり、データマイニングの成功を左右する重要な段階である。
3.1.1 クリーニング
クリーニングは、欠損値の補完やノイズの除去、異常値の修正を行う工程である。欠損値には平均値や最頻値による補完、または該当レコードの削除などの方法がある。
3.1.2 統合
統合は、複数のデータソースからデータを結合する工程である。重複データの除去やデータ形式の統一、スキーマの調整を行い、一貫性のあるデータセットを構築する。
3.1.3 変換
変換は、データを分析手法に適した形式に変換する工程である。正規化、離散化、属性の生成（特徴量エンジニアリング）などが含まれる。
3.1.4 削減
削減は、データの次元や量を削減する工程である。主成分分析（PCA）などの次元削減手法や、サンプリングによるデータ量の縮小が行われる。これにより計算効率が向上し、過学習のリスクが低減する。
3.2 パターン評価
パターン評価は、抽出されたパターンが有用かどうかを客観的な指標で判定する工程である。支持度、確信度、リフト値などの統計的尺度や、交差検証を用いたモデルの精度評価が行われる。目的に応じて、興味深さや新規性も考慮される。
3.3 知識表現
知識表現は、発見されたパターンを人間が理解可能な形で可視化または説明する工程である。ルールの記述、決定木の図示、グラフやチャートによる可視化、レポート生成などが含まれる。これにより、分析結果が意思決定に活用される。
4.1 ビジネス
4.1.1 顧客セグメンテーション
顧客セグメンテーションは、購買履歴やデモグラフィックデータを基に顧客をグループ化し、ターゲットマーケティングやパーソナライズを実現する手法である。クラスタリングがよく用いられる。
4.1.2 購買バスケット分析
購買バスケット分析は、トランザクションデータから商品の組み合わせパターンを発見する手法である。アソシエーションルールを適用し、クロスセルや棚割り最適化に活用される。
4.1.3 不正検出
不正検出は、異常検知技術を用いてクレジットカード詐欺や保険金詐欺などをリアルタイムで識別する応用である。分類モデルやパターン認識が使用される。
4.2 科学
4.2.1 バイオインフォマティクス
バイオインフォマティクスでは、遺伝子発現データやタンパク質構造データから疾患の原因遺伝子の発見や薬剤ターゲットの特定にデータマイニングが活用される。クラスタリングや分類が中心的な手法である。
4.2.2 天文学
天文学では、観測データから未知の天体や銀河の分類、宇宙現象のパターン発見にデータマイニングが適用される。特に大規模な天体カタログからの自動分類が重要な役割を果たす。
4.3 医療
4.3.1 疾患予測
疾患予測は、患者の診療記録や検査データから病気のリスクを予測する応用である。決定木やニューラルネットワークを用いて、早期診断や予防医療を支援する。
4.3.2 創薬
創薬では、化合物データや遺伝子情報から薬効や副作用を予測し、新薬候補の絞り込みにデータマイニングが用いられる。分子構造の類似性検索や活性予測が代表的な手法である。
5.1 プライバシー
データマイニングにおいて、個人情報の収集と分析はプライバシー侵害のリスクを伴う。匿名化技術や差分プライバシーなどの対策が研究されているが、データの再利用や結合による再識別の可能性が課題として残る。法的規制（例：GDPR）の遵守が求められる。
5.2 データバイアス
データセットに存在するバイアスは、マイニング結果に不公平や差別をもたらす可能性がある。例えば、過去のデータに基づくモデルが特定の集団を不利に扱うことがある。バイアスの検出と補正、多様なデータの収集が重要である。
5.3 透明性と説明責任
複雑なモデル（特に深層学習）の予測プロセスはブラックボックス化しやすく、透明性が低下する。そのため、説明可能なAI（XAI）の技術が注目されており、結果の解釈可能性を高めることが、意思決定への信頼性向上につながる。また、データマイニングの結果に対する責任の所在を明確にする必要がある。
6.1 統計学
統計学は、データの収集、分析、解釈のための理論と手法を提供する基礎分野である。データマイニングは統計学の推論や仮説検定の枠組みを利用しつつ、大規模データへの適用を目的として発展してきた。
6.2 機械学習
機械学習は、データから自動的に学習し予測や判断を行うアルゴリズムの研究分野である。データマイニングは機械学習の手法（分類、回帰、クラスタリングなど）を応用して知識発見を行うため、両者は密接に関連している。
6.3 データベースシステム
データベースシステムは、データの効率的な保存、検索、管理を実現する技術である。データマイニングは大規模データを扱うため、データベースのインデックス技術やクエリ最適化、分散処理基盤（例：Hadoop, Spark）に依存している。