クルバック・ライブラー情報量

1 定義

1.1 離散分布における定義

離散確率分布 \(P\) と \(Q\) に対して、クルバック・ライブラー情報量は各事象についての確率の比を対数で重み付けし、その期待値として表される。典型的には、\(P\) に従うときの \(\log(P(x)/Q(x))\) の平均で定義される。和の形で書くと、\(P(x)\log\!\bigl(P(x)/Q(x)\bigr)\) を全事象にわたって足し合わせる。

1.2 連続分布における定義

連続確率分布の場合は、確率質量の和の代わりに確率密度を用い、積分によって定義される。密度 \(p(x)\) と \(q(x)\) があるとき、\(p(x)\log(p(x)/q(x))\) を定義域全体で積分することで与えられる。離散の場合と同様、基準分布 \(p\) による期待値という見方が重要である。

1.3 似た概念との違い

この量は直感的には「差」を表すが、通常の距離や単純な散らばりとは性質が異なる。とくに、どの分布を基準にするかで値が変わるため、対称な比較指標ではない。

1.3.1 距離との相違

クルバック・ライブラー情報量は非対称であり、三角不等式も一般には満たさない。そのため、数学的な意味での距離とは区別される。二つの分布の関係を一方向から測る尺度として理解するのが適切である。

1.3.2 エントロピーとの関係

この量はエントロピーや交差エントロピーと密接に結びつく。ある分布を真の分布とみなしたとき、別の分布を使うことで増える平均符号長の差として表現できる。したがって、情報圧縮や不確実性の議論と自然につながる。

2 性質

クルバック・ライブラー情報量は、単なる差分ではなく、情報理論の枠組みによって厳密な性質が与えられている。非負であること、左右を入れ替えると値が変わること、分布が一致したときに限り0になることなどが基本的な特徴である。

2.1 非負性

この量は常に0以上である。これは、誤った分布を用いると平均的に余分な情報量が必要になるという解釈に対応する。数学的には、対数関数の凹性などに基づいて示される。

2.2 非対称性

2.3 ゼロとなる条件

二つの分布がほぼ至るところで一致するとき、クルバック・ライブラー情報量は0になる。逆に、値が0であれば、通常は両分布が同一であることを意味する。つまり、この量は完全な一致を検出する指標として働く。

2.4 発散する場合

片方の分布が正の確率を与える領域で、もう一方が確率0を与えると、値が無限大になることがある。連続分布でも、密度の比が極端に偏る場合には発散しうる。実務上は、この性質により推定や最適化で注意が必要になる。

3 解釈

この概念は、単なる数式ではなく、情報の無駄やモデルの不一致を表す実用的な指標として理解される。分布間のずれを、平均的な損失や追加コストとして読むことができる。

3.1 情報損失としての解釈

真の分布を知らずに近似分布を使うと、必要な記述量が増える。その増加分がクルバック・ライブラー情報量に対応する。したがって、これは「どれだけ余計な情報を払っているか」を示す量といえる。

3.2 モデル近似の指標としての解釈

統計モデルや生成モデルでは、真の分布に近いほどこの値は小さくなる。つまり、候補モデルの良し悪しを比較する基準として使える。近似の精度を、確率的な観点から定量化する役割を担う。

3.3 推定誤差との関係

推定値が真の分布からずれると、クルバック・ライブラー情報量は増加する。これは、パラメータ誤差が単なる数値差ではなく、分布全体の歪みとして現れることを示している。経験的な当てはまりの良さを評価する補助尺度にもなる。

4 応用

クルバック・ライブラー情報量は、理論研究だけでなく、実際の推定や学習、解析にも広く用いられる。分布の比較を要する場面で特に有用であり、多くの分野で基礎的な役割を果たす。

4.1 統計学

統計学では、モデル選択や推定の妥当性を考える際に重要である。観測データから得られる分布と理論モデルの分布との差を評価する道具として利用される。

4.1.1 最尤推定との関連

最尤推定は、観測データを最も起こりやすくするパラメータを選ぶ方法である。大標本では、尤度最大化がクルバック・ライブラー情報量の最小化と対応することがあり、両者は深く結びつく。

4.1.2 ベイズ推定との関連

ベイズ推定では、事前分布と事後分布の差異を評価する場面で現れる。近似事後分布を用いる変種では、クルバック・ライブラー情報量を最小にするように近似を調整することが多い。これは不確実性の更新を定量化するうえで有用である。

4.2 機械学習

機械学習では、確率モデルの学習目標として頻繁に使われる。分類、生成、近似推論など、確率分布の比較が中心になる多くの手法に組み込まれている。

4.2.1 損失関数としての利用

ニューラルネットワークの学習では、予測分布と正解分布のずれを損失として表す際に使われる。交差エントロピーと同等の形で扱われることも多く、分類問題で標準的な目的関数の一つである。

4.2.2 変分推論での利用

変分推論では、複雑な事後分布を扱いやすい分布で近似する。その際、近似分布と真の事後分布のクルバック・ライブラー情報量を小さくすることで、実用的な推定を実現する。これは近似の質を調整する中心的な基準である。

4.3 信号処理

信号処理では、観測信号の統計的モデルと実データの整合性を調べるために用いられる。雑音モデルの比較や特徴抽出の評価にも応用される。スペクトル推定や検出問題で重要な役割を持つ。

4.4 物理学との関連

物理学では、確率分布の変化や平衡からのずれを記述する文脈で現れる。とくに統計力学では、エントロピーや自由エネルギーと結びつけて理解されることがある。情報理論と物理量の対応を示す例としても注目される。

5 関連する情報量

クルバック・ライブラー情報量は、他の情報量と比較することで理解しやすくなる。近縁の概念はいくつかあるが、それぞれ目的や性質が異なる。

5.1 相対エントロピー

相対エントロピーは、クルバック・ライブラー情報量の別名として扱われることが多い。どちらも本質的には同じ概念を指し、分布間の不一致を表す尺度である。文献によって名称の使い方に差がある。

5.2 ジェンセン・シャノン情報量

ジェンセン・シャノン情報量は、クルバック・ライブラー情報量を対称化したような性質を持つ。左右の分布を平均してから比較するため、非対称性が緩和される。0から有限値の範囲に収まりやすく、類似度指標として扱いやすい。

5.3 交差エントロピー

交差エントロピーは、ある分布を別の分布で符号化したときの平均的な情報量を表す。真のエントロピーにクルバック・ライブラー情報量を加えたものとして分解できるため、実務上は密接に関係する。機械学習の損失関数でも頻繁に現れる。

5.4 ミンコフスキー的な類似量ではないこと

クルバック・ライブラー情報量は、距離空間でいうミンコフスキー距離のような単純なノルム系の量ではない。ベクトル成分の差を幾何学的に測るのではなく、確率分布の情報的な不一致を評価する。したがって、名称や直感が似ていても、数学的な位置づけは大きく異なる。