1 定義
情報エントロピーは、情報理論において、不確実性の度合いを数値で表す基本概念である。ある事象の結果が予測しにくいほど値は大きく、逆に起こりやすい結果がほぼ定まっている場合は小さくなる。単なる「珍しさ」の指標ではなく、複数の候補がどの程度のばらつきを持つかを総合的に捉える量として扱われる。
1.1 基本概念
直感的には、選択肢が多く、それぞれの起こりやすさが近いほど、観測前の迷いは大きい。これに対し、ある結果が圧倒的に優勢であれば、事前の不確実性は低い。情報エントロピーは、この「どれだけ予測が難しいか」を平均的に表現する。
1.2 確率分布との関係
情報エントロピーは確率分布によって決まる。分布が均等に近いほど値は増し、偏りが強いほど減少する。したがって、同じ事象数であっても、各事象の確率配置が異なればエントロピーも変化する。
1.3 離散情報源における定義
離散的な情報源では、各記号の出現確率を用いてエントロピーを定義する。典型的には、各記号の確率に対して対数を取った量を重み付き平均し、符号化や平均情報量の議論に結びつける。この定義は、通信や圧縮の理論で最も広く用いられる。
1.4 連続値の場合の扱い
連続変数では、離散の場合と同じ形をそのまま適用できないため、微分エントロピーなど別の枠組みで扱う。連続分布では確率そのものではなく確率密度を用いるが、その解釈は離散エントロピーと完全には一致しない。特に座標変換や単位の取り方に影響を受ける点に注意が必要である。
2 性質
情報エントロピーは、いくつかの基本的な性質を持つ。これらは、情報の測定値としての整合性を支え、応用上の限界や最適化の指針を与える。
2.1 非負性
離散的な場合、エントロピーは通常非負である。これは、不確実性の量として自然な性質であり、完全に確定した状況では零に近づく。値が大きいほど、結果の分散が広いことを示す。
2.2 最大値と最小値
固定された事象数のもとでは、分布が一様なときにエントロピーは最大となる。反対に、ある結果が確率1で生じる場合には最小となる。つまり、平等な配分は最大の予測困難性を、完全な決定性は最小の不確実性を意味する。
2.3 加法性
独立な情報源を合わせたとき、全体のエントロピーは各部分の寄与の和として扱える。これは、複数の独立な試行を一括して考える際に有用である。情報量が累積的に増えるという見通しを与える点で重要である。
2.4 連続性
確率分布がわずかに変化したとき、エントロピーも急激ではなく連続的に変化するのが望ましい。小さな確率のずれに対して極端に不安定であれば、尺度としての実用性が損なわれる。情報エントロピーは、こうした意味で滑らかな振る舞いを示す。
2.5 凸性と凹性
エントロピーは分布に対して凹関数として振る舞う。これは、分布を混合すると不確実性が増す傾向を数学的に表している。統計的な平均化や最適化の場面で、この性質は重要な制約として機能する。
3 関連する情報量
情報エントロピーは、他の情報量と密接に結びついている。これらの量を区別することで、単なる不確実性だけでなく、条件の有無や二つの変数の依存関係を表現できる。
3.1 自己情報量
自己情報量は、特定の事象が生じたときに得られる情報の大きさを表す。起こりにくい事象ほど自己情報量は大きく、ありふれた事象ほど小さい。エントロピーは、この量の平均として理解できる。
3.2 条件付き情報エントロピー
条件付き情報エントロピーは、ある変数の値が分かっているときに残る不確実性を示す。追加情報によってどれだけ予測が改善されるかを測る指標であり、推定や通信における補助情報の効果を表す。
3.3 相互情報量
相互情報量は、二つの変数がどれだけ情報を共有しているかを示す。片方が分かることで、もう片方の不確実性がどれだけ減るかを定量化する。独立ならば値は小さく、強く関連していれば大きくなる。
3.4 結合エントロピー
結合エントロピーは、複数の変数を同時に観測するときの全体的不確実性を表す。各変数を別々に見るだけでは分からない、同時分布の広がりを捉えるために用いられる。条件付き量や相互情報量とも相互に関係する。
3.5 微分エントロピー
微分エントロピーは、連続変数に対するエントロピーの類似物である。ただし、離散エントロピーのような直感的な「情報量」とは性質が異なり、負の値をとることもある。連続分布の比較や理論的解析で重要な役割を果たす。
4 応用
情報エントロピーは、理論的な尺度にとどまらず、実際の工学や計算科学の多くの領域で使われる。特に、無駄を減らす設計や、不確実性を定量化する問題で有効である。
4.1 データ圧縮
データ圧縮では、情報エントロピーが理論上の圧縮限界を示す。記号列に含まれる冗長さを減らし、より短い表現へ変換する際の基準となる。
4.1.1 最適符号化
最適符号化は、各記号に割り当てる符号を工夫して平均符号長をできるだけ短くする方法である。出現頻度が高い記号には短いコードを、まれな記号には長めのコードを与える発想が基本となる。
4.1.2 符号長の下限
エントロピーは、平均符号長がこれ以上は下げにくいという理論的下限を与える。したがって、どれほど巧妙な符号でも、情報源の不確実性を完全に無視して圧縮することはできない。
4.2 通信理論
通信理論では、情報エントロピーは伝送可能な情報量や通信の効率を考える際の土台となる。ノイズを含む経路で、どこまで誤りを抑えつつ情報を送れるかを考える上で欠かせない。
4.2.1 通信路容量
通信路容量は、ある通信路で安定して送れる情報量の上限を表す。エントロピーや相互情報量を用いて記述され、通信方式の性能評価や設計に直結する。
4.2.2 誤り訂正との関係
誤り訂正では、送信データに余分な構造を加えて、受信時の誤りを検出・修正する。エントロピーは、ノイズの強さや必要な冗長性を見積もる際の目安となる。
4.3 暗号理論
暗号理論では、平文や鍵の不確実性を高めることが安全性に関係する。エントロピーが高い鍵は推測されにくく、総当たり攻撃に対して有利である。乱数生成の品質評価にも利用される。
4.4 統計力学
統計力学では、微視的な状態の数と巨視的な性質を結びつけるために、情報理論的なエントロピーの考え方が参照される。多くの状態が同程度に実現しうるとき、系は高い不確実性を示す。情報理論と物理学の接点を形づくる重要な概念である。
4.5 機械学習
機械学習では、モデルの予測の曖昧さやデータの情報的価値を測る道具として使われる。分類、木構造の構築、特徴抽出など、幅広い局面で応用される。
4.5.1 特徴選択
特徴選択では、目的変数との関係が強い説明変数を優先的に選ぶ。相互情報量やエントロピーを用いると、冗長な変数を避けつつ有用な特徴を抽出しやすい。
4.5.2 決定木
決定木では、分割前後でエントロピーがどれだけ減るかを基準に、分岐を選ぶ方法がある。不確実性の減少が大きい分割ほど、分類にとって有益とみなされる。
4.5.3 不確実性の評価
機械学習の予測結果には、確信度の高低が伴う。エントロピーは、予測分布の散らばりを示すことで、どの程度判断が不安定かを評価する手がかりになる。
5 拡張と一般化
情報エントロピーには、用途や対象に応じたさまざまな拡張がある。標準的な形だけでは捉えにくい分布の性質や、特殊な確率構造を扱うために一般化が試みられてきた。
5.1 レニーエントロピー
レニーエントロピーは、通常のエントロピーを一般化した族である。分布の集中度を異なる尺度で評価でき、尾部の影響や鋭いピークの扱いに向く。情報理論や暗号で利用される。
5.2 ツァリスエントロピー
ツァリスエントロピーは、非加法的な性質を持つ一般化の一つである。通常のエントロピーでは扱いにくい相互作用のある系や、複雑な分布の記述に用いられることがある。
5.3 シュレーディンガー的状況における類似量
量子力学の文脈では、状態の不確実性や混合度を表すため、古典的エントロピーに対応する量が導入される。純粋状態と混合状態の違いを記述する際に重要であり、古典的な確率論とは異なる構造を反映する。
5.4 確率過程への拡張
時系列やランダム過程を扱う場合、単発の確率分布だけでなく、時間的な依存関係も考慮する必要がある。エントロピーは、過去の履歴や将来の予測可能性を含む形へ拡張され、情報の流れを解析する手段となる。
6 歴史
情報エントロピーの概念は、20世紀の通信技術の発展とともに整備された。確率、符号化、伝送の問題を統一的に扱う必要から、理論的基盤が形成された。
6.1 情報理論の成立
情報理論は、通信の効率化と誤り制御の要請を背景に発展した。信号をどのように表し、どれだけの情報を運べるかを定量化する枠組みが求められたことが、その成立を促した。
6.2 シャノンによる定式化
シャノンは、情報量とエントロピーを厳密に定式化し、通信の理論を数学的に確立した。彼の枠組みは、圧縮や符号化に関する基本限界を示し、その後の情報科学全般に大きな影響を与えた。
6.3 後続研究への影響
その後、情報エントロピーは統計学、物理学、計算機科学、機械学習へと広がった。単なる通信の理論を超えて、不確実性を測る共通言語として定着し、さまざまな分野の解析手法に組み込まれている。
</INTERNAL_LINK_CANDIDATES> 自己情報量（特定の事象が持つ情報の大きさ） 条件付き情報エントロピー（条件付きで残る不確実性） 相互情報量（二変数間で共有される情報） 結合エントロピー（複数変数の同時的不確実性） 微分エントロピー（連続変数のエントロピー類似量） 最適符号化（平均符号長を短くする符号設計） 通信路容量（通信路が運べる情報量の上限） 誤り訂正（通信エラーを検出・修正する技術） 暗号理論（情報の秘匿性を扱う理論） 統計力学（微視的状態と巨視的性質を結ぶ物理理論） 機械学習（データから予測や分類を行う計算手法） 特徴選択（有用な変数を選び出す手法） 決定木（分岐規則で分類するモデル） レニーエントロピー（エントロピーの一般化族） ツァリスエントロピー（非加法的な一般化エントロピー） 量子力学（微視的世界を記述する理論） 確率過程（時間発展する確率的現象）