交差エントロピー

1 定義

交差エントロピーは、ある確率分布を別の確率分布で表現したときに必要となる平均情報量を表す量である。情報理論では、真の分布を基準にして符号化した場合の期待符号長として理解されることが多い。統計学や機械学習では、予測分布と観測分布の適合度を測る尺度として用いられる。

1.1 離散確率分布における定義

離散確率分布 \(p\) と \(q\) に対して、交差エントロピーは通常 \[ H(p,q)=-\sum_x p(x)\log q(x) \] で定義される。ここで \(p(x)\) は基準となる分布、\(q(x)\) は評価対象の分布である。対数の底は文脈により自然対数や2を用いる。

この式は、\(p\) に従う事象を \(q\) に基づいて記述したときの平均的な情報量を示す。なお、\(q(x)=0\) で \(p(x)>0\) の場合には値が無限大となる。

1.2 連続確率分布における定義

連続確率分布では、確率密度関数 \(p(x)\) と \(q(x)\) を用いて \[ H(p,q)=-\int p(x)\log q(x)\,dx \] と書かれる。離散型と同様に、\(p\) によって重み付けされた \(q\) の対数の平均を意味する。

ただし連続型では、単純な「符号長」との対応は離散型ほど直接的ではない。そこで実際には、相対的な比較量として扱われることが多い。

1.3 符号化理論との関係

情報理論では、交差エントロピーは誤った確率モデルを用いた圧縮の非効率さを表す。真の分布 \(p\) に従うデータを、モデル \(q\) に基づいて符号化すると、理想的な符号化より余分な平均ビット数が必要になる。

この見方により、交差エントロピーはモデル選択や予測精度の評価と結びつく。より小さい値は、より効率的な記述やより良い予測に対応する。

2 基本的な性質

交差エントロピーは、エントロピーやクルバック・ライブラー情報量と密接に関係する。確率分布の一致度を直接示すわけではないが、両者の差異を数量化するうえで重要な役割を持つ。

2.1 非負性と下限

交差エントロピーそのものは、定義域や対数の底に応じて非負の値をとる。特に離散分布では、真の分布に対して最適なモデルを選ぶと最小化される傾向がある。

一般に、\(q\) が \(p\) に近いほど交差エントロピーは小さくなる。ただし、絶対的な下限は分布の形状や支持集合に依存する。

2.2 エントロピーとの関係

エントロピー \(H(p)\) は、分布 \(p\) 自体の不確実性を表す。一方、交差エントロピー \(H(p,q)\) は、\(p\) を \(q\) で表現したときの平均情報量である。

両者は一致するとは限らないが、\(q=p\) のときには \[ H(p,p)=H(p) \] となる。したがって、交差エントロピーはエントロピーの拡張的な概念とみなせる。

2.3 クルバック・ライブラー情報量との関係

クルバック・ライブラー情報量は、2つの分布のずれを測る代表的な量である。交差エントロピーはこの量と組み合わせることで、分布間の関係を明確に示す。

2.3.1 分解式

交差エントロピーは、エントロピーとクルバック・ライブラー情報量の和として表される。 \[

\]

この式は、交差エントロピー最小化が実質的に KL 情報量の最小化と同値であることを示す。

2.3.2 解釈

分解式は、交差エントロピーを「本来必要な不確実性」と「モデル化の誤差」の合計として読むことを可能にする。つまり、分布 \(p\) の固有のばらつきに、\(q\) の不適合による損失が上乗せされる。

この解釈は、機械学習で損失関数として使う際に特に有用である。損失が小さいほど、モデルの予測分布が観測に整合していると判断できる。

3 具体例

交差エントロピーは、単純な二値分類から多クラス分類まで幅広く適用できる。具体例を通じて、その値がどのように変化するかを理解しやすくなる。

3.1 二値分布の場合

二値分布では、正例の確率を \(p\)、予測確率を \(q\) とすると、交差エントロピーは \[ -প\log q-(1-p)\log(1-q) \] の形で表される。これは二項分類で最もよく使われる損失の一つである。

特に正解ラベルが 1 の場合、損失は \(-\log q\) に簡約される。予測が正解に近いほど値は小さく、外れるほど急速に大きくなる。

3.2 多クラス分布の場合

多クラス分類では、正解を表す分布 \(p\) と予測分布 \(q\) をクラス数分のベクトルで扱う。正解が one-hot 表現なら、交差エントロピーは正解クラスの予測確率に対応する項だけが効く。

この性質により、モデルは正しいクラスの確率を高める方向に学習される。誤ったクラスの確率も相対的に抑えられるため、全体の分布形状が整いやすい。

3.3 一様分布との比較

一様分布を基準にすると、交差エントロピーはモデルの偏りの程度を把握する手がかりになる。一様な \(p\) に対して \(q\) が極端に偏っていると、値は大きくなりやすい。

逆に、\(q\) が一様分布に近い場合は、特定の事象に過度な確信を置いていないことを示す。ただし、実際の最適性は対象分布の性質に依存するため、一様性そのものが良いとは限らない。

4 応用

交差エントロピーは、理論量であると同時に実用上の評価指標でもある。とりわけ予測問題では、モデルの学習目標として中心的な位置を占める。

4.1 機械学習における損失関数

機械学習では、交差エントロピーは損失関数として広く採用される。予測確率と正解ラベルの不一致を数値化し、最適化アルゴリズムによる学習を可能にする。

確率的出力を直接評価できるため、単純な正誤判定よりも情報が多い。これにより、モデルは自信の度合いも含めて調整される。

4.1.1 分類問題での利用

分類問題では、交差エントロピーは正解クラスの確率を高めるように働く。誤分類しても、どの程度の確信で外したかが損失に反映される。

そのため、単なる精度とは異なり、予測の校正や確率推定の質を評価しやすい。ニューラルネットワークを含む多くの分類器で標準的に使われる理由はここにある。

4.1.2 ソフトマックスとの組み合わせ

多クラス分類では、出力層にソフトマックス関数を用いて確率分布を生成し、その結果を交差エントロピーで評価する構成が一般的である。ソフトマックスは各クラスのスコアを正規化し、和が1となる分布を作る。

この組み合わせは、学習の勾配計算が扱いやすく、安定した最適化につながる。実装上も標準的で、深層学習の基本形の一つとされる。

4.2 統計的推定

統計学では、交差エントロピー最小化は最尤推定と深く関係する。観測データに対して予測分布を当てはめる際、負の対数尤度を平均したものが交差エントロピーとして現れる。

この関係により、モデルのパラメータ推定は確率的な整合性を持つ形で定式化できる。推定量の比較やモデル選択にも応用される。

4.3 情報理論における利用

情報理論では、交差エントロピーは圧縮効率や符号設計を評価する基礎量である。与えられた分布に対してどの程度よく符号化できるかを定量化する。

また、通信やデータ表現の分野では、理想的なモデルとの差を測る指標としても扱われる。こうした用途により、理論的概念でありながら実務的価値も高い。