情報利得

1 定義と基本概念

情報利得は、情報理論の枠組みで定義され、ある属性（特徴量）を知ることで、ターゲット変数の不確実性がどれだけ減少するかを測る指標である。直感的には、属性が分類にどれだけ有用かを数値化したものと言える。

1.1 エントロピーとの関係

1.2 条件付きエントロピー

2 計算方法

情報利得は、エントロピーと条件付きエントロピーの差として計算される。具体的な手順は属性の種類によって異なる。

2.1 離散属性の場合

2.2 連続属性の離散化

連続値属性を情報利得の計算に用いる場合、事前に離散化が必要となる。一般的な方法は、属性値を昇順に並べ、隣接する値の中間点を閾値として、その閾値で二分割したときの情報利得を計算し、最大の情報利得を与える閾値を選択する。決定木アルゴリズムではこの手法が標準的に用いられる。

3 応用例

情報利得は機械学習やデータマイニングにおける分類タスクで広く利用される。

3.1 決定木学習における利用

決定木アルゴリズムは、各ノードで分割に使う属性を選択する際、情報利得を最大化する属性を選ぶ。これにより、木の深さを抑えつつ分類精度を高める。

3.1.1 ID3アルゴリズム

ID3は情報利得を分割基準として用いる代表的な決定木学習アルゴリズムである。各ノードで全属性の情報利得を計算し、最大のものを分割属性とする。再帰的にこの操作を繰り返して木を構築する。

3.1.2 利点と欠点（分割バイアス）

ID3の利点は直感的で理解しやすいことだが、多数の値を取る属性（例：ID番号）に対して高い情報利得を示し、過学習を引き起こす「分割バイアス」がある。この問題を解決するために後述の情報利得比が提案された。

3.2 特徴選択への応用

情報利得は、分類に有用な特徴量を選択するフィルター法の評価基準としても使われる。

3.2.1 フィルター法としての情報利得

特徴選択では、各特徴量とターゲット変数との間の情報利得を計算し、値の大きい順に上位k個の特徴量を選択する。学習前に独立して計算できるため計算コストが低く、大規模データセットでの前処理に適している。ただし、特徴量間の相互作用は考慮されない。

4 関連概念との比較

情報利得には類似した不純度指標や情報理論的な尺度が存在し、それぞれに特性の違いがある。

4.1 情報利得比（Gain Ratio）

情報利得比は、情報利得を属性値の分割情報量（Split Information）で割ったものである。分割情報量は属性の取り得る値の数に比例するため、多数値属性へのバイアスを補正する。C4.5アルゴリズムで採用されている。

4.2 ジニ不純度

ジニ不純度は決定木の分割基準としてよく用いられる別の指標で、クラス分布の不均衡を測る。情報利得と比較して計算が高速であり、CARTアルゴリズムで標準的に使われる。ジニ不純度に基づく分割基準は「ジニ係数の減少（Gini Gain）」として定義される。

4.3 相互情報量

相互情報量は情報理論において二つの確率変数間の依存関係の強さを測る指標で、数式的には情報利得と同一である。ただし、相互情報量は対称性（I(X;Y)=I(Y;X)）を持つが、情報利得は通常、ターゲット変数のエントロピー減少として非対称に用いられる。

5 限界と注意点

情報利得を実用的に用いる際には、以下のような限界や注意点がある。

5.1 多数値属性へのバイアス

前述の通り、情報利得は取り得る値が多い属性（例えば顧客ID）を不当に高く評価する傾向がある。これは、値が多いほど分割後のデータが細分化され、結果的にエントロピーが低くなりやすいためである。このバイアスは情報利得比や統計的検定による補正が必要となる。

5.2 過学習との関係

情報利得が最大となる属性を貪欲に選択すると、訓練データに過適合しやすい決定木が生成される。特にノイズの多いデータでは、分割により急激にサンプルサイズが減少し、偶然のパターンが学習されるリスクがある。剪定（プルーニング）や最小分割サンプル数の設定などによる対策が重要である。

5.3 データスパースネスへの影響

情報利得は確率推定に基づくため、データがスパース（各属性値のサンプル数が少ない）場合、エントロピーの推定が不安定になる。特に連続値属性を離散化する際、分割点付近でサンプル数が少なくなると、情報利得の信頼性が低下する。この問題は、ラプラス平滑化やベイズ推定などの手法で緩和できるが、根本的な解決には多くのデータが必要となる。