1 基礎概念
1.1 定義と目的
分類木は、特徴量空間を再帰的に分割し、各領域に属するデータのクラスラベルを予測する教師あり学習モデルである。目的は、与えられた訓練データから汎化性能の高い分類ルールを木構造として学習し、未知のサンプルに対して正確なクラス予測を行うことにある。分割は各ノードで最適な特徴量と閾値を選択することで進行し、最終的に葉ノードが単一のクラスまたは確率分布を保持する。
1.2 決定木との関係
分類木は決定木の一種であり、目的変数がカテゴリカルである場合を指す。決定木には目的変数が連続値である回帰木も含まれ、両者は木構造の構築方法において共通点が多いが、分割基準と出力の扱いが異なる。分類木では不純度指標を用いて分割を行い、葉ノードに多数決でクラスを割り当てる。
1.3 用語の解説
1.3.1 ノードと枝
ノードは木の構成要素であり、根ノード（最上部）、内部ノード（条件分岐を行うノード）、葉ノード（終端）に分類される。枝は親ノードから子ノードへの接続を表し、各枝はある特徴量の値域に対する条件分岐を示す。根ノードから葉ノードに至る経路が一つの分類ルールに対応する。
1.3.2 深さと葉
深さは根ノードからの階層数を指し、木の複雑さを制御するパラメータである。葉ノードは分類結果を保持する終端ノードであり、各葉には所属する訓練サンプルの最多クラスがラベルとして割り当てられる。深さが大きいほどモデルは複雑になるが、過学習のリスクが高まる。
2 分類木の構築アルゴリズム
2.1 分割基準
2.1.1 ジニ不純度
ジニ不純度はノード内のクラス分布の不均衡度を測る指標で、値が小さいほど純粋なノードを表す。Kクラス問題において、ノード内のクラスiの割合をp_iとすると、ジニ不純度は1 - Σ(p_i^2)で計算される。分割前後のジニ不純度の減少が最大となる特徴量と閾値を選択する。
2.1.2 エントロピーと情報利得
エントロピーは情報理論における不確実性の尺度で、ノードのエントロピーは -Σ(p_i log₂ p_i)で定義される。情報利得は分割前後のエントロピーの差であり、この値が最大となる分割が選ばれる。エントロピーは多クラス問題でよく用いられるが、計算コストがジニ不純度よりやや高い。
2.1.3 カイ二乗統計量
カイ二乗統計量は分割後の子ノードにおけるクラス分布の独立性を検定する指標である。観測頻度と期待頻度の差の二乗を期待頻度で割った値を合計し、値が大きいほど分割によってクラスと特徴量の関連が強いことを示す。主にID3やC4.5の派生アルゴリズムで利用される。
2.2 木の成長と剪定
2.2.1 過学習と対策
過学習は木が訓練データに過度に適合し、未知データに対する予測性能が低下する現象である。原因は木の深さが大きすぎること、または葉ノードのサンプル数が少なすぎることにある。対策として、最小葉サンプル数の設定、深さの制限、または後述の枝刈りが用いられる。
2.2.2 枝刈り（プルーニング）
枝刈りは木の複雑さを削減し汎化性能を向上させる手法である。事前枝刈りは木の成長中に停止条件を設ける方法、事後枝刈りは完全な木を構築後、不要な部分木を削除する方法である。事後枝刈りの代表例にコスト複雑度枝刈り（CCP）があり、誤分類率と木の複雑さのトレードオフを評価する。
2.3 代表的なアルゴリズム
2.3.1 CART
CART（Classification And Regression Tree）は二分木を生成するアルゴリズムで、分類にはジニ不純度、回帰には平均二乗誤差を用いる。各ノードで特徴量を一つ選び、二値分割を行う。枝刈りはコスト複雑度枝刈りを標準的に実装する。
2.3.2 ID3
ID3（Iterative Dichotomiser 3）は情報利得を分割基準とするアルゴリズムで、多分岐木を生成する。カテゴリカル特徴量のみを扱い、連続値には直接適用できない。過学習を抑制するための枝刈り機能は持たない。
2.3.3 C4.5
C4.5はID3の改良版で、連続値特徴量の扱いや欠損値処理、枝刈り機能を追加したアルゴリズムである。分割基準には情報利得比を用い、多分岐木を生成する。後継のC5.0はさらに高速化・メモリ効率化が図られている。
3 性能評価と最適化
3.1 評価指標
3.1.1 正解率と混同行列
正解率は全予測のうち正解した割合で、 (TP+TN)/(TP+TN+FP+FN) と定義される。混同行列は、実際のクラスと予測クラスの組み合わせを行列で表したもので、真陽性（TP）、真陰性（TN）、偽陽性（FP）、偽陰性（FN）の4要素からなる。正解率はクラスバランスが偏っている場合に誤解を招くことがある。
3.1.2 適合率・再現率・F値
適合率は陽性と予測した中で実際に陽性である割合（TP/(TP+FP)）、再現率は実際の陽性のうち正しく陽性と予測された割合（TP/(TP+FN)）である。F値は適合率と再現率の調和平均（2 * 適合率 * 再現率 / (適合率 + 再現率)）で、バランスの取れた評価指標として用いられる。多クラス問題では各クラスごとに計算し、マクロ平均やマイクロ平均をとる。
3.2 交差検証
交差検証はデータを複数の分割に分け、一部を訓練データ、残りを検証データとして繰り返し評価する手法である。k分割交差検証が一般的で、データをk個のサブセットに分割し、k-1個で訓練、残り1個で検証をk回行い、平均性能を求める。これにより、過学習の検出やハイパーパラメータの調整が可能となる。
3.3 アンサンブル学習との統合
3.3.1 ランダムフォレスト
ランダムフォレストは複数の分類木をブートストラップサンプリングと特徴量のランダム選択によって構築し、多数決で予測を統合するアンサンブル手法である。個々の木の相関を低下させることで分散を抑え、単一の分類木よりも高い汎化性能と安定性を達成する。
3.3.2 勾配ブースティング
勾配ブースティングは前の木の誤差を次の木で修正する逐次的なアンサンブル手法である。各ステップで損失関数の勾配方向に新しい木を追加し、重み付きで予測を累積する。XGBoost、LightGBM、CatBoostなどが代表的な実装であり、高い予測精度と計算効率を持つ。
4 応用事例
4.1 医療診断
分類木は患者の症状、検査値、遺伝情報などの特徴量から疾患の有無や病型を予測するために利用される。例えば、心疾患リスクの層別化や糖尿病の早期発見において、解釈性の高さから医師の診断支援ツールとして実装される。可視化された木構造は診断根拠の説明を容易にする。
4.2 金融リスク評価
銀行や保険会社は顧客の属性データを基に貸し倒れリスクや保険金請求リスクを分類木で評価する。クレジットスコアリングでは、収入、雇用履歴、過去の返済実績などの変数を用いて、デフォルト可能性を高い・低いの二値分類する。規制上の説明責任を果たすために、モデルの解釈性が重要視される。
4.3 マーケティングと顧客セグメント
企業は購買履歴やデモグラフィックデータから顧客を分類し、プロモーションのターゲットを絞り込む。分類木は顧客の離脱予測（チャーン分析）や、キャンペーンへの反応率予測に適用される。例えば、特定の商品を購入する可能性が高い顧客セグメントを抽出し、効率的なマーケティング戦略の立案を支援する。
5 長所と限界
5.1 解釈性と可視化
分類木の最大の長所は、木構造をグラフとして可視化でき、人間が直感的に理解できることである。各ノードの分割条件と葉のクラスをたどることで、予測に至る理由を説明可能である。この特性は、医療や金融など説明責任が求められる分野で特に価値が高い。
5.2 非線形性への対応
特徴量間の複雑な非線形関係や交互作用を、木の分割によって自動的にモデル化できる。線形モデルでは表現が難しい高次元の非線形境界を、木は条件分岐の積み重ねで近似する。ただし、深い木は過学習を引き起こしやすく、適切な枝刈りやアンサンブルが必要である。
5.3 データ不均衡の影響
クラス分布が偏ったデータでは、分類木が多数派クラスに偏った予測を行いやすい。ジニ不純度やエントロピーはクラス頻度の影響を受けるため、少数派クラスの正確な分類が困難になる。対策として、重み付き誤差関数の利用、オーバーサンプリングやアンダーサンプリング、またはアンサンブル手法との組み合わせが有効である。