エントロピーは、情報理論において確率変数の不確実性を定量化する尺度である。クロード・シャノンが1948年の論文「通信の数学的理論」で初めて導入し、それ以来情報科学の基礎概念として広く用いられている。エントロピーは、情報源が生成するメッセージの平均情報量を表し、その値が大きいほど予測が困難であることを示す。
1.1 情報量とエントロピーの関係
情報量は、ある事象が発生したときに得られる情報の大きさを表す。発生確率が低い事象ほど情報量が大きくなり、自己情報量は-log p(x)で定義される。エントロピーは、確率分布全体にわたる自己情報量の期待値として定義され、確率変数の不確実性の平均的な尺度となる。情報量が個々の事象の価値を測るのに対し、エントロピーは情報源全体の特性を評価する。
1.2 離散エントロピーと連続エントロピー
エントロピーは、確率変数が離散値を取る場合と連続値を取る場合で定義が異なる。両者は根本的に異なる性質を持ち、離散エントロピーは非負であるのに対し、連続エントロピーは負の値を取り得る。
1.2.1 離散確率変数のエントロピー
離散確率変数Xが確率分布P(X=x_i)=p_i (i=1,...,n)に従うとき、エントロピーH(X)はH(X)=-∑_{i=1}^{n} p_i log p_i で定義される。この値は0以上であり、確率分布が一様分布に近づくほど大きくなる。例えば、公平なコインのエントロピーは1ビットであり、必ず表が出るコインのエントロピーは0ビットである。
1.2.2 微分エントロピー（連続の場合）
連続確率変数Xが確率密度関数f(x)を持つとき、微分エントロピーh(X)はh(X)=-∫ f(x) log f(x) dx で定義される。離散エントロピーと異なり、スケール変換によって値が変化し、負の値を取り得る。例えば、一様分布U[a,b]の微分エントロピーはlog(b-a)であり、区間幅が1未満の場合は負となる。
1.3 エントロピーの単位と対数の底
エントロピーの単位は、対数の底によって決まる。底が2の場合はビット、底がeの場合はナット、底が10の場合はディットが用いられる。これらの単位は相互に変換可能であり、1ナットは約1.4427ビットに相当する。情報理論では通常2を底とするビットが標準的に用いられる。
エントロピーは情報理論の基礎として、いくつかの重要な数学的性質を持つ。これらの性質は、情報の定量的な取り扱いを可能にし、様々な応用の理論的基盤を提供する。
2.1 非負性と上限
離散エントロピーは常に非負であり、H(X) ≥ 0が成立する。また、n個の値を取る離散確率変数のエントロピーは最大でlog nであり、これは確率分布が一様分布であるときに達成される。この上限は、情報源の最大不確実性を表し、通信路容量の理論において重要な役割を果たす。
2.2 劣加法性と条件付きエントロピー
エントロピーは結合確率分布に対して劣加法性を持ち、H(X,Y) ≤ H(X) + H(Y)が成立する。等号はXとYが独立である場合に限る。この性質は、結合系の不確実性が個々の系の不確実性の和を超えないことを示す。
2.2.1 結合エントロピーと条件付きエントロピー
| 結合エントロピーH(X,Y)は、二つの確率変数の組の不確実性を表し、H(X,Y)=-∑∑ p(x,y) log p(x,y)で定義される。条件付きエントロピーH(Y | X)は、Xを知った後のYの不確実性を表し、H(Y | X)=H(X,Y)-H(X)で計算される。これらは情報の依存関係を解析する基本的な道具である。 |
|---|
2.2.2 相互情報量との関係
相互情報量I(X;Y)は、XとYの間の共有情報量を表し、I(X;Y)=H(X)+H(Y)-H(X,Y)で定義される。これは、Xを知ることでYの不確実性がどれだけ減少するかを示し、0からmin(H(X),H(Y))の範囲を取る。相互情報量は、通信路容量や特徴量選択などの応用で中心的な役割を果たす。
2.3 凸性と最大エントロピー原理
エントロピーH(p)は確率分布pに関する凹関数であり、つまりH(λp+(1-λ)q) ≥ λH(p)+(1-λ)H(q)が成立する。この性質から、与えられた制約条件の下でエントロピーを最大化する分布は一意に定まり、これを最大エントロピー原理と呼ぶ。例えば、平均値のみが既知のとき、指数分布が最大エントロピー分布となる。
エントロピーは情報理論の枠組みを超えて、データ圧縮、通信、機械学習など多岐にわたる分野で応用されている。その普遍性は、不確実性の定量化という概念の重要性に起因する。
3.1 データ圧縮
エントロピーは、情報源のデータ圧縮における理論的下限を提供する。シャノンの情報源符号化定理によれば、任意の可逆圧縮は平均符号長をエントロピーよりも小さくできない。
3.1.1 ハフマン符号とエントロピー
ハフマン符号は、エントロピーに基づく最適な可変長符号の一つである。各シンボルに短い符号語を割り当てることで、平均符号長をエントロピーに近づける。ハフマン符号の効率は、平均符号長とエントロピーの比で評価され、一様分布に近いほど効率が向上する。
3.1.2 Lempel-Ziv符号化の効率
Lempel-Ziv符号化は、辞書ベースのユニバーサル圧縮アルゴリズムであり、情報源の統計的性質を事前に知らなくてもエントロピーに漸近的に近づく。この手法は、gzipやPNGなど多くの実用的な圧縮形式の基礎となっており、有限状態エルゴード情報源に対して最適性が証明されている。
3.2 通信路容量と誤り訂正
エントロピーは、通信路の情報伝送能力を理論的に評価するために用いられる。通信路容量は、誤りなく通信できる最大伝送速度を表し、相互情報量の最大化として定義される。
3.2.1 シャノンの通信路符号化定理
シャノンの通信路符号化定理は、通信路容量C以下の任意のレートRで、誤り確率を任意に小さくできることを保証する。エントロピーは、この定理において情報源のレートと通信路容量の整合性を評価する基準として機能する。
3.2.2 対称通信路のエントロピー
対称通信路は、誤り確率が入力に関わらず一定である通信路であり、その容量は出力エントロピーと条件付きエントロピーの差として計算される。例えば、二元対称通信路の容量は1-H(ε)（εは誤り確率）で表され、エントロピーが通信路の品質評価に直接関与する。
3.3 機械学習と統計モデル
機械学習において、エントロピーはモデルの不確実性評価や損失関数の設計に広く利用される。情報理論の概念は、特徴選択や分類器の性能評価に応用される。
3.3.1 決定木における情報利得
決定木学習では、エントロピーの減少に基づく情報利得が分割基準として用いられる。情報利得は、親ノードのエントロピーと子ノードのエントロピーの重み付き平均の差として計算され、この値を最大化する属性が分割に選択される。これにより、データの不確実性を効率的に低減する木構造が構築される。
3.3.2 クロスエントロピー損失関数
クロスエントロピーは、二つの確率分布の間の乖離を測る尺度であり、分類問題における損失関数として広く用いられる。真の分布pと予測分布qのクロスエントロピーH(p,q)は、H(p,q)=-∑ p(x) log q(x)で定義され、これを最小化することでモデルの予測精度が向上する。
エントロピーは強力な概念であるが、現実世界の複雑な情報構造を完全に捉えることはできない。その限界を克服するため、様々な拡張が提案されている。
4.1 エントロピーの限界と誤差
エントロピーは確率分布に完全に依存するため、サンプル数が少ない場合や分布が未知の場合には推定誤差が生じる。また、エントロピーは構造的な情報（パターンや相関）を直接捉えることができず、単に確率の不確実性のみを評価する。このため、実データの複雑性を過小評価する場合がある。
4.2 量子エントロピー（フォン・ノイマンエントロピー）
量子情報理論において、フォン・ノイマンエントロピーは量子状態の不確実性を表す。密度行列ρに対して、S(ρ)=-Tr(ρ log ρ)で定義され、古典エントロピーの量子版と見なせる。量子エントロピーは、量子もつれの定量化や量子通信路容量の理論において重要な役割を果たす。
4.3 エントロピーと物理学における類似概念
情報理論のエントロピーは、熱力学のエントロピー（ボルツマン・ギブスエントロピー）と数学的に類似した形式を持つ。両者は、微視的な状態の不確実性を扱う点で共通するが、情報理論のエントロピーは確率分布に基づく抽象概念であり、物理的な熱や仕事とは直接結びつかない。ジェインズの最大エントロピー原理は、統計力学の基礎を情報理論から再解釈する試みである。
エントロピーは、情報理論における中心概念であるが、他の類似尺度と比較することでその特性がより明確になる。
5.1 カルバック・ライブラー情報量
| カルバック・ライブラー情報量（KLダイバージェンス）は、二つの確率分布PとQの間の差異を測る尺度であり、D_KL(P | Q)=∑ p(x) log (p(x)/q(x))で定義される。エントロピーが一つの分布の不確実性を測るのに対し、KLダイバージェンスは二つの分布の乖離を測り、非負で非対称な性質を持つ。エントロピーは、KLダイバージェンスにおいてQを一様分布とした特別な場合と見なせる。 |
|---|
5.2 レニーエントロピー
レニーエントロピーは、エントロピーの一般化であり、次数α(α>0, α≠1)に対してH_α(X)=(1/(1-α)) log (∑ p_i^α)で定義される。α→1の極限でシャノンエントロピーに一致し、α=0ではハートレーエントロピー（最大値のみ考慮）、α=2では衝突エントロピーとなる。レニーエントロピーは、量子情報理論や暗号理論において、シャノンエントロピーよりも適切な尺度となる場合がある。
5.3 シャノンエントロピーとコルモゴロフ複雑性
コルモゴロフ複雑性は、あるデータ列を生成する最短プログラムの長さとして定義され、エントロピーとは異なるアプローチで情報量を定量化する。エントロピーが確率分布に依存するのに対し、コルモゴロフ複雑性は決定的な計算の観点から情報の複雑さを評価する。両者は漸近的に等価であることが示されているが、コルモゴロフ複雑性は計算不可能であり、実用的にはエントロピーが広く用いられる。
エントロピーの概念は、専門的な理論の枠組みを超えて、日常生活にも応用可能な洞察を提供する。
6.1 乱数生成とパスワード強度
エントロピーは、乱数生成器の品質評価やパスワードの強度測定に用いられる。真の乱数生成器は高いエントロピーを持つが、擬似乱数生成器は計算上のエントロピーが限られる。パスワードの強度は、そのエントロピーによって評価され、例えば8文字のランダムな英数字パスワード（62文字種）のエントロピーは約47.6ビットとなる。
6.2 エントロピーを用いた意思決定の例
エントロピーは、不確実性下での意思決定において有用な指針となる。例えば、実験計画では、結果のエントロピーを最大化するような実験を選択することで、最大の情報を得られる。また、宝くじの購入判断において、当選確率が極めて低い場合、そのエントロピーは非常に低く、期待情報量が小さいことを示す。日常的な意思決定におけるエントロピーの応用は、情報の価値を定量的に評価する枠組みを提供する。