1 基本概念
平均情報量は、確率的に生じる事象を1回観測したときに得られる情報の大きさを、起こりうる各結果の確率に応じて平均した量である。情報理論では、予測しにくい出来事ほど情報を多く含むと考えられ、平均情報量は分布全体の不確実さを要約する指標として扱われる。
1.1 情報量の定義
個々の事象の情報量は、その事象の生起確率に反比例する形で定義される。一般に、確率が小さい事象ほど情報量は大きく、確率が大きい事象ほど情報量は小さい。典型的には、情報量は確率の対数を用いて表される。
1.2 平均情報量の定義
平均情報量は、各事象の情報量をその確率で重み付けして足し合わせた期待値である。確率分布に従う試行を繰り返すとき、1回あたりの平均的な情報獲得量を表す。離散分布では、全事象についての加重平均として計算される。
1.3 直感的な意味
平均情報量は、結果がどれだけ予想しにくいかを数値化したものとみなせる。結果の候補が均等に近いほど不確実さが大きく、観測後に得られる新しい知識も大きくなる。逆に、ほぼ決まっている分布では、追加される情報は少ない。
1.3.1 起こりにくい事象と情報量
珍しい出来事は、それ自体が「意外性」を持つため、より大きな情報量を持つとされる。たとえば、極端に低い確率の事象が実際に起きると、その事実は受け手に強い更新をもたらす。この性質が、情報量の基本的な直観を支えている。
1.3.2 不確実性との関係
平均情報量が大きい分布では、どの結果が出るかを事前に当てにくい。したがって、この量は分布の散らばりや予測困難さの尺度として機能する。確率が集中した分布では平均情報量が小さく、結果の幅が広がると増加する。
2 数学的性質
平均情報量は、確率分布の形によって決まるため、分布の対称性や偏りを反映する。対数を用いることで、独立な事象の情報量が加法的になるという扱いやすい性質が得られる。
2.1 確率分布との関係
離散確率分布に対しては、各結果の確率と情報量の積の総和として表される。連続量を扱う場合には、別の定式化が必要になるが、基本的な考え方は同じである。いずれの場合も、分布の確率構造が平均情報量を決定する。
2.2 対数の底と単位
情報量の表現では、対数の底をどのように取るかによって単位が変わる。これは数値の意味づけに関わるだけで、概念そのものは同じである。実用上は、計算目的や分野の慣習に応じて底が選ばれる。
2.2.1 ビットによる表現
対数の底を2にすると、情報量はビットで表される。これは二択の基本単位に対応し、計算機科学やデジタル通信で広く用いられる。2進的な符号化との相性がよい点が特徴である。
2.2.2 ナットによる表現
対数の底を自然対数にすると、単位はナットになる。これは数学や統計の理論展開で使いやすく、微分や極限を扱う場面で自然な形を与える。ビット表現とは換算可能であり、内容は同値である。
2.3 非負性と最大値
平均情報量は負にならず、分布の不確実さが大きいほど値が高くなる。最大値は、与えられた候補の間で確率が最も均等に近いときに現れる。反対に、一部の結果に確率が偏ると値は下がる。
2.3.1 等確率分布の場合
すべての結果が同じ確率を持つとき、平均情報量は最大になる。各結果が対等であるため、事前予測が最も難しくなるからである。候補数が増えるほど、この値も大きくなる。
2.3.2 偏った分布の場合
確率が特定の結果に集中すると、平均情報量は小さくなる。多くの場面で、観測結果の大半が予測可能であれば、追加の情報は限定的である。極端に偏った分布では、不確実さはかなり低くなる。
3 エントロピーとの関係
平均情報量は、情報理論におけるエントロピーと本質的に結びついている。両者はしばしば同義的に扱われ、確率分布の不確実性を測る中心的な量として使われる。
3.1 情報エントロピーとしての平均情報量
離散分布における平均情報量は、しばしば情報エントロピーと呼ばれる。これは、分布の不確実さを一つの数で表す標準的な概念である。観測前にどれだけ結果が散らばっているかを要約する役割を持つ。
3.2 シャノンエントロピー
シャノンエントロピーは、情報理論の基礎を築いた定式化として広く知られている。各事象の確率に対して対数関数を用い、それを全体で平均したものに相当する。通信や符号化の理論では、この表現が標準となっている。
3.3 条件付き平均情報量
ある条件が与えられたとき、平均情報量はその条件の下で再計算される。追加情報があることで分布が絞られ、不確実さがどれだけ減るかを調べる枠組みである。観測済みの情報を考慮する点に特徴がある。
3.3.1 条件付きエントロピー
条件付きエントロピーは、他の変数が分かっているときに残る不確実性を表す。単独の分布より小さくなることが多く、知識が増えると予測が容易になることを示す。情報の追加による縮小分が重要である。
3.3.2 相互情報量との関連
相互情報量は、二つの変数がどれだけ情報を共有しているかを示す。条件付き平均情報量が減少する度合いと関係し、片方を知ることでもう片方の予測がどの程度改善されるかを表す。平均情報量の差として理解される場合が多い。
4 応用
平均情報量は、理論的な概念にとどまらず、実際の設計や解析にも広く使われる。特に、情報の圧縮、送信、推定、学習の各場面で重要な指針を与える。
4.1 通信理論
通信理論では、平均情報量が通信路の性能評価や符号設計に利用される。送信できる情報の限界や、雑音のある環境での効率を考えるうえで基礎的な量となる。伝送の信頼性と密接に関係している。
4.2 データ圧縮
データ圧縮では、平均情報量が理論的な圧縮限界の目安になる。起こりやすい記号には短い符号を、まれな記号には長い符号を割り当てる考え方を支える。これにより、冗長さを減らす設計が可能になる。
4.3 統計学
統計学では、分布の不確実性や情報の多さを評価するために用いられる。仮説比較、推定、モデル選択などで、観測データがどれだけ予想を更新するかを考える手がかりになる。データのばらつきの把握にも役立つ。
4.4 機械学習
機械学習では、学習対象の不確実性を扱う際の基本量として重要である。分類問題や確率モデルの評価で、予測の確信度や誤りの傾向を定量化するのに使われる。損失関数や特徴選択の議論にも現れる。