1 相互情報量の概要

1.1 定義と基本式

相互情報量は2つの確率変数または確率分布の間に存在する統計的な依存性を、情報量の観点から定量化する指標である。確率変数 \(X\) と \(Y\) の相互情報量は、同時分布 \(p(x,y)\) と周辺分布 \(p(x)\)、\(p(y)\) を用いて \[ I(X;Y)=\sum_{x}\sum_{y} p(x,y)\log\frac{p(x,y)}{p(x)p(y)} \] で与えられる（連続の場合は積分表現となり、対数の底は単位を決める）。ここで比 \(\frac{p(x,y)}{p(x)p(y)}\) は、独立な場合の基準（\(p(x)p(y)\)）に対して、実際の同時発生がどの程度偏っているかを表す量として解釈できる。

1.2 情報の共有度としての解釈

相互情報量は「片方を知ったとき、もう片方の不確実性がどれだけ減るか」を測る。より具体的には、\(Y\) を観測すると \(X\) の事後分布が周辺分布からどれだけ変わるかが問題になる。対数項の期待値として定義されるため、単なる一致・ずれの頻度ではなく、確率の更新によって生じる情報の増減を反映する。依存関係が強いほど観測による分布更新の規模が大きくなり、相互情報量は増える傾向を持つ。

1.3 非負性と零になる条件

相互情報量は一般に非負である。直感的には、独立でない場合に限って \(p(x,y)\) と \(p(x)p(y)\) が異なるため、対数比の平均が正になる。厳密には \[ I(X;Y)\ge 0 \] が成り立ち、さらに \(I(X;Y)=0\) となるのは、ほぼ確実に \(X\) と \(Y\) が独立であるときに限られる。独立なら同時分布が \(p(x)p(y)\) に一致し、対数比が恒等的に1、ゆえに期待値として0が得られる。

1.4 相互情報量の次元と単位

相互情報量は対数に用いる底により単位が変わる。底2の対数を用いれば単位はビット、底\(e\) ならナットで表される。通信で扱う符号長や符号化効率に結びつきやすいのはビット表記であり、理論側ではナット表記が解析に便利なことがある。どちらを用いても数値は一対一に換算でき、物理的な「次元」を持たない純粋な情報量として扱われる。

2 統計量・エントロピーとの関係

2.1 エントロピーを用いた表現

相互情報量はエントロピーを用いて表せる。離散の場合には \[ I(X;Y)=H(X)+H(Y)-H(X,Y) \] が成り立つ。ここで \(H(X)\) は \(X\) 単体の不確実性、\(H(Y)\) も同様、\(H(X,Y)\) は組 \((X,Y)\) の不確実性を表す。組としての不確実性から単体の不確実性の和を引くことで、共通部分としての依存が取り出される構造になっている。

2.2 条件付きエントロピーとの関係

条件付きエントロピー \(H(XY)\) を用いると

\[

I(X;Y)=H(X)-H(XY)

\]

とも書ける。これは「\(Y\) を知ることで \(X\) の不確実性がどれだけ減るか」という解釈と整合する。対称性により \(I(X;Y)=H(Y)-H(YX)\) も成立し、どちらの側を基準にしても同じ情報共有量が得られる。

2.3 相対エントロピー（カルバック・ライブラー情報量）との同値性

相互情報量は相対エントロピー（カルバック・ライブラー情報量）に一致する形で表現できる。具体的には \[

I(X;Y)=D_{\mathrm{KL}}\bigl(p(x,y)\,\|\,p(x)p(y)\bigr)

\] であり、同時分布と、独立を仮定したときの分布との「ずれ」を測っている。相対エントロピーが非負であることから、相互情報量の非負性が同じ枠組みで説明できる。

2.4 エントロピー鎖則

エントロピーには鎖則があり、相互情報量の導出にも頻繁に使われる。例えば三つの変数 \(X,Y,Z\) に対し、\(H(X,YZ)=H(XZ)+H(YX,Z)\) のような分解が可能である。これを相互情報量の定義に適用すると、依存構造の段階的な整理ができ、条件付き相互情報量や拡張指標の性質を導く基盤になる。

3 代表的な性質

3.1 可換性（対象の入れ替え）

相互情報量は引数を入れ替えても同じ値を取る。すなわち \[ I(X;Y)=I(Y;X) \] が成り立つ。これは依存性を「共有」する量として対称に定義されていることに由来し、片方から見た情報増加と他方から見た情報増加が同等であることを意味する。

3.2 上界と下界

相互情報量には一般的な上界がある。離散で \(X\) のとりうる値の集合を考えれば \[ I(X;Y)\le H(X),\quad I(X;Y)\le H(Y) \] が成立する。直感的には、相互情報量は高々「一方の不確実性」しか共有できないためである。下界は先に述べた非負性 \(I(X;Y)\ge 0\) が基本となる。これらの境界は、依存の最大限がどこに制限されるかを示す。

3.3 マルコフ性との整合

確率変数の間にマルコフ性（ある変数が別の変数に与える影響が第三者を介してのみ現れる性質）がある場合、相互情報量は簡約化される。たとえば \(X \to Z \to Y\) のマルコフ鎖が成り立つとき、\(X\) と \(Y\) の依存は \(Z\) の情報によって媒介され、条件付き相互情報量 \(I(X;YZ)\) が0になる（あるいは定義上ゼロに一致する）ような関係が現れる。こうした整合性により、モデル構造を反映した解析が可能になる。

3.4 データ処理不等式

データ処理不等式は、相互情報量が「情報を劣化させる操作」に対して単調に減少することを述べる。例えば \(X\) から \(Z\) を生成する過程があるとし、\(X\to Z\to Y\) の形で考えると \(I(X;Y)\) は \(I(Z;Y)\) 以下に抑えられる。これは符号化・特徴抽出のような変換が、統計的な関連を増やすのではなく（適切な条件下で）情報を保存しない限り損なうことを示唆する。

4 計算と具体例

4.1 離散分布の場合の計算手順

離散事例では、以下の流れで計算するのが基本になる。まず \(p(x,y)\) と \(p(x)\), \(p(y)\) を用意する。次に各組 \((x,y)\) について \(\log\frac{p(x,y)}{p(x)p(y)}\) を計算し、それに \(p(x,y)\) を掛けて総和を取る。数値計算ではゼロ確率の扱いに注意が要る。\(p(x,y)=0\) の項は、その寄与が極限として0になるため、実装では条件分岐して計算することが多い。

4.2 連続分布の場合の注意点

連続変数では確率密度 \(p(x,y)\) を用い、和ではなく積分を行う。ただし連続相互情報量は離散版と同様に定義できる一方、微小幅に依存する「密度そのもの」の値とは無関係な量として扱う必要がある。さらに、密度の積分が有限になる条件、数値計算ではカーネル密度推定などによる誤差が相互情報量に増幅されうる点も留意するべきである。変数の変換（座標変換）に対しては、同値な形で不変になるように扱うことが重要となる。

4.3 ガウス分布での相互情報量

同時分布が多変量ガウスであり、2変数の間の共分散により依存が決まる場合、相互情報量は共分散行列から直接表されることが多い。特に1次元のガウス（\(X,Y\) がそれぞれ平均0、分散既知、相関係数 \(\rho\)）では \[ I(X;Y)= -\frac{1}{2}\log(1-\rho^2) \] という形になり、線形相関の大きさが情報量に結びつく。ガウス仮定のもとでは、依存の形が二次モーメントにより完全に特徴づけられるため、相互情報量もその情報だけで決まる。

4.4 具体例：相関がある場合・ない場合

相関がある場合は、同時に起きやすい領域が独立の予測からずれるため、対数比の平均が正になり相互情報量が増える。逆に、独立な生成機構（\(p(x,y)=p(x)p(y)\)）では、どの組の確率比も1に一致し、積算結果として相互情報量は0になる。直感的には、観測結果に基づく確率更新が起きない限り「共有される情報」は生じない。

5 条件付き相互情報量と拡張

5.1 条件付き相互情報量の定義

条件付き相互情報量 \(I(X;YZ)\) は、第三の変数 \(Z\) を与えたうえで \(X\) と \(Y\) の依存性を測る指標である。離散の場合には

\[

I(X;YZ)=\sum_{z} p(z)\sum_{x}\sum_{y} p(x,yz)\log\frac{p(x,yz)}{p(xz)p(yz)}

\] と書ける。これは条件ごとに独立性からのずれを測り、その平均を取る構造になっている。

5.2 条件で変わる依存関係の見え方

条件付きでは「見かけの独立」や「見かけの従属」が変わりうる。たとえば \(X\) と \(Y\) が周辺的には無相関でも、ある変数で絞り込むと同時に起きやすいパターンが顕在化することがある。相互情報量は確率分布のずれとして測るため、こうした絞り込みによる依存の変化を反映する。

5.3 マルコフ連鎖における簡約

マルコフ鎖の設定では、条件付き相互情報量が計算上簡約されることがある。たとえば \(X\to Z\to Y\) のマルコフ性があるなら、\(Z\) を条件として与えたとき、\(X\) が \(Y\) を直接に左右しないため、\(I(X;YZ)\) は0に一致する。これによりモデルの因果・情報伝達構造を相互情報量の式に直接反映できる。

5.4 マルチバリアント相互情報量への発展

拡張として複数変数を同時に扱う形が研究されている。候補としては、3変数以上の「共通情報」「冗長性」をどう定義するかが問題となる。一般化相互情報量や多変量の依存測度は、線形性やガウス性に限らない場合に有用だが、定義間の性質が一致しないこともあるため、用途に応じた選択が行われる。

6 推定・推論への応用

6.1 相互情報量による依存関係検出

相互情報量は独立性検定や依存関係の検出に利用される。観測データから相互情報量を推定し、その値が0に近いかどうかを手がかりにする。実務では統計的有意性を評価するために、置換（シャッフル）による帰無分布の推定やブートストラップを組み合わせることが多い。

6.2 変分・サロゲート推定の考え方

連続データや高次元では直接推定が難しく、変分推定や目的関数としてのサロゲート（代理）を用いる方法がある。代表的には、相対エントロピーの下界や、ニューラルネットワークを介した識別器ベースの枠組みなどが使われる。これらは計算可能な損失関数に落とし込み、最適化により情報量の推定値を得る発想である。

6.3 条件付き相互情報量の推定と実務上の工夫

条件付きではデータ分布がより複雑になり、精度が落ちやすい。実務では \(Z\) の離散化、層別推定、条件を明示的に取り除く（残差化する）手法などが用いられる。加えて、推定器の過学習を抑える正則化や、バッチ内での推定分散を抑える工夫が必要になる場合がある。

6.4 データ量不足時のバイアスと対策

有限サンプルでは推定値が系統的にずれることが知られている。特に分布推定を伴う手法では、次元の増加によりバイアスが大きくなりやすい。対策として、バイアス補正、潜在変数モデルによる平滑化、適切な正則化、あるいはサンプルサイズに応じた信頼区間の提示などが採られる。推定の不確実性を併記することが実務上重要になる。

7 情報理論における役割

7.1 通信路容量との関係

通信路の文脈では、相互情報量が最大化されることで伝送可能な情報量（容量）に結びつく。具体的には、あるチャネルの入力分布を自由に選べるとき、相互情報量の最大値がチャネル容量として現れる。これは「入力をどのように変えると出力により多くの不確実性を解消できるか」という最適化問題に相当する。

7.2 受信・符号化における位置づけ

受信側では、観測された出力から送信された入力の候補を推定する。相互情報量は、その候補選択が成功する度合いを情報量として表す尺度になり、符号化の設計指針にも関与する。特に達成可能な符号化率や、復号誤りの指数的な振る舞いの議論において重要な量として登場する。

7.3 推定理論との接続

推定の観点では、パラメータ推定や統計的識別の難しさが情報量と関係づけられる。相互情報量は「観測データがどれだけパラメータに関する不確実性を減らすか」という概念を一般化し、モデル化された生成過程のもとで妥当な推論が可能かを評価する枠組みを与える。

7.4 最適化問題への利用

相互情報量は目的関数あるいは制約条件として最適化に組み込まれる。例として、情報最大化に基づく表現学習や、情報の保持と圧縮の両立を狙う設計が挙げられる。こうした問題では、データ分布に対する推定誤差や計算負荷が現れるため、解析可能な下界を用いた近似や、学習アルゴリズム上の安定化が行われる。

8 関連概念と用語

8.1 相関係数との違い

相関係数は線形な関係の強さを主に測る指標であるのに対し、相互情報量は非線形な依存も含めて確率分布の差として捉える。したがって、相関係数が0でも相互情報量が正になる状況がありうる。逆に、相互情報量が大きくても単純な線形回帰では捉えきれない形状が多様に存在しうる。

8.2 エントロピー、交差エントロピー、損失関数との関係

エントロピーは不確実性を測り、相互情報量はエントロピー差として書ける。交差エントロピーはモデルがデータ分布をどれだけ適切に近似できているか（推定した分布と真の分布の乖離）を反映する量として扱われることが多い。損失関数としての形はタスクに依存するが、相互情報量の式に現れる相対エントロピーは、交差エントロピーや尤度に基づく学習目的と数学的に近い構造を持つ。

8.3 交差相互情報量・一般化相互情報量

交差相互情報量や一般化相互情報量は、分布の推定やモデルの評価、あるいは複数分布間の情報量比較に拡張する発想として現れる。例えば、真の同時分布の代わりに別の推定分布を使って情報量を近似する際、どの形を選ぶかで性質や推定バイアスが変わる。目的に応じて不変性、計算容易性、理論的保証のバランスが検討される。

8.4 エントロピー率と相互情報量の比較

エントロピー率は、確率過程の時間発展に対する情報の平均的な生成速度を扱う概念である。相互情報量が「2つの変数間の共有度」を主に見るのに対し、エントロピー率は「系列がどれだけ情報を生み続けるか」を焦点にする。両者は情報理論の枠組みに属し、モデルの時間構造を扱う際に併用される場面があるが、測っている対象は必ずしも同一ではない。