1 条件付き相互情報量の概要
1.1 定義と直観
1.1.1 確率変数・条件・情報量の基本
条件付き相互情報量は、3つの確率変数 \(X\)、\(Y\)、\(Z\) の関係を、\(Z\) を「すでに知っている」状況で測る量である。ここでいう条件付けとは、\(Z\) の値に応じて \(X\) と \(Y\) の結びつき方が変わる可能性を許しつつ、その変化を差し引いた上で、なお残る関連の強さを定量化する考え方に相当する。
情報量の基本は、ある事象がどれだけ起こりにくいかに基づく。確率が小さい出来事ほど、それが観測されたときの「驚き」は大きくなる。その驚きの平均としてエントロピーが定義され、複数変数間の驚きの共有を扱う枠組みが相互情報量である。条件付き相互情報量は、相互情報量をそのまま使うのではなく、条件 \(Z\) によって説明できる部分を考慮する点に特徴がある。
1.1.2 相互情報量との関係（減算される情報の意味）
相互情報量 \(I(X;Y)\) は「\(X\) が分かると \(Y\) についてどれだけ予測しやすくなるか」を平均的に表す。条件付き相互情報量 \(I(X;Y\mid Z)\) は、これを \(Z\) を観測した後の視点に移し、「\(Z\) を知った上でも、\(X\) の情報がなお \(Y\) の予測に寄与するか」を見ようとする。
直観的には、\(I(X;Y)\) が持つ結びつきのうち、\(Z\) によって媒介されて説明できる分（あるいは \(Z\) が原因となって見かけ上の関連が生じている分）を引いた残りが、条件付き相互情報量に対応する。したがって \(I(X;Y\mid Z)=0\) は「\(Z\) が与えられたとき、\(X\) と \(Y\) は予測上の関連を持たない」ことを示す。
1.2 数式による定義
1.2.1 エントロピーを用いた定義
条件付き相互情報量は、条件付きエントロピーを用いて次のように書ける。 \[ I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z). \] 同値な形として \[ I(X;Y\mid Z)=H(Y\mid Z)-H(Y\mid X,Z) \] も成り立つ。ここで \(H(X\mid Z)\) は「\(Z\) を知った状態での \(X\) の不確かさ」、\(H(X\mid Y,Z)\) は「\(Y\) と \(Z\) の両方を知った状態での \(X\) の不確かさ」を意味する。ゆえに、差分は「\(Z\) だけでは残る不確かさを、\(Y\) を追加してどれだけ減らせるか」という情報利得になっている。
1.2.2 Kullback–Leiblerダイバージェンスによる表現
条件付き相互情報量は、条件付けのもとでの Kullback–Leiblerダイバージェンス（KLダイバージェンス）としても表せる。代表的に次式がある。 \[
| I(X;Y\mid Z)=\mathbb{E}_{Z}\left[D_{\mathrm{KL}}\bigl(P_{X,Y\mid Z}\,\|\,P_{X\mid Z}P_{Y\mid Z}\bigr)\right]. |
|---|
\] 直観として、各 \(Z=z\) に対し、同時分布 \(P_{X,Y\mid Z=z}\) と「条件付き独立が成り立つならば得られる分布」\(P_{X\mid Z=z}P_{Y\mid Z=z}\) の隔たりを測り、その期待値をとっている。したがって、分布の形の違いがあるほど大きくなり、完全に一致すれば零になる。
1.3 等価な表現と性質
1.3.1 条件付き独立性との対応
条件付き相互情報量が零であることは、条件付き独立性と結び付く。すなわち \[ I(X;Y\mid Z)=0 \] は（適切な正規性の下で）\(X\) と \(Y\) が \(Z\) に関して条件付き独立であることと同値である。具体的には任意の \(z\) について \[ P_{X,Y\mid Z=z}=P_{X\mid Z=z}P_{Y\mid Z=z} \] が成り立つとき、条件付き相互情報量は 0 になる。
この対応により、条件付き相互情報量は「条件を与えた後に残る依存」を直接測る指標として理解できる。相互情報量が依存の有無を示すのに対し、条件付き相互情報量は「条件で説明しきれない依存」を検出する性格を持つ。
1.3.2 非負性と零となる条件
条件付き相互情報量は一般に非負である。 \[ I(X;Y\mid Z)\ge 0. \] これは、上で述べた KLダイバージェンスの非負性から導かれる。さらに、非負性の等号成立は「条件付き独立が成り立つ」という分布一致条件に対応する。つまり、\(Z\) が情報を媒介し、\(X\) と \(Y\) の見かけ上の関連がすべて説明される場合には、条件付き相互情報量は 0 になる。
2 情報理論における性質
2.1 連鎖則・分解定理
2.1.1 相互情報量の条件付き分解
条件付き相互情報量には連鎖的な分解の考え方があり、多変数に拡張したときに有用となる。たとえば \(W\) を追加の変数として \[ I(X;Y,W\mid Z)=I(X;W\mid Z)+I(X;Y\mid W,Z) \] が成り立つ。これは「\(Y\) と \(W\) をまとめて与えたときの情報利得」を、「まず \(W\) から得る利得」と「次に \(Y\) から得る追加利得」に分ける式である。
この種の分解は、条件付けや変数の追加・削除がどのように情報量に影響するかを追跡するための基盤になる。
2.1.2 多変数への拡張と加法性
さらに一般には、複数の変数に対して条件付き相互情報量を段階的に分解できる。加法性という言葉は単純に「和になる」というより、連鎖則により構造的に部分量へ展開できる性質を指すことが多い。
この拡張の利点は、複雑な依存構造を、より扱いやすい局所的な情報利得へ分割して評価できる点にある。結果として、統計モデルの設計や推論アルゴリズムにおける目的関数の整理にも役立つ。
2.2 データ処理不等式との関係
2.2.1 条件付けの下での単調性
データ処理不等式は、情報理論において「処理で情報が増えない」ことを保証する枠組みである。条件付き相互情報量でも、条件 \(Z\) を固定した上での処理が情報利得を増幅できない状況が定式化される。
直感的には、\(X\) の情報をもとに別の観測 \(X'\) を作っても、\(X\) が持っていた \(Y\) への関連は増えない。むしろ、ノイズの付加や圧縮により関連が薄まることが一般的である。
2.2.2 後処理が情報量を減らす意味
後処理が情報量を減らすとは、観測を変換することで、元の変数が担っていた予測能力の一部が失われることを意味する。たとえば通信路で受信信号をさらに加工しても、復号に役立つ情報量は元の受信に勝ることはない、という見方につながる。
条件付き相互情報量の文脈では、条件により状況が定まったうえで、さらに変換を行った場合の「残る依存の強さ」が抑制される、という解釈が可能である。
2.3 マルコフ性と条件付き相互情報量
2.3.1 マルコフ連鎖の判定基準
マルコフ連鎖に関して、条件付き相互情報量が判定基準として現れることがある。典型的には、グラフ上で \(X\) から \(Y\) への影響が中間変数 \(Z\) を介してのみ伝わるならば、条件付き相互情報量は 0 あるいは簡潔な形に落ちる。
具体的には、条件付き独立が成り立つ場合 \(I(X;Y\mid Z)=0\) となるため、「依存がどの中間変数を通るか」を調べるための指標になり得る。マルコフ性を仮定すると、推論や学習の自由度が下がり、モデルの整合性チェックにも使える。
2.3.2 グラフィカルモデルでの解釈
ベイズネットワークなどのグラフィカルモデルでは、辺のつながりと分離（セパレーション）により条件付き独立が決まる。条件付き相互情報量は、その条件付き独立が実際にどれだけ厳密に近いかを「量」として補足する役割を果たせる。
完全な独立ではなく近似的な独立が想定されるとき、零に近い値は「グラフ構造が示す分離によって依存が十分説明されている可能性」を示唆する。モデル選択や構造学習で、どの辺を保つべきかを情報量の観点から比較する際に利用されることがある。
3 計算方法と実装上の考え方
3.1 離散・連続での違い
3.1.1 離散分布（確率表）での計算
離散変数の場合、条件付き相互情報量は確率表から直接計算できる。代表的には \[ I(X;Y\mid Z)=\sum_{x,y,z} p(x,y,z)\log\frac{p(x,y\mid z)}{p(x\mid z)p(y\mid z)} \] の形で表される。ここで対数の底は単位系（ナットやビット）を決める。
実装では、\(p(x,y\mid z)\) や \(p(x\mid z)\) がゼロになる組合せの扱いが重要になる。ゼロ確率事象は対数計算で発散し得るが、確率が 0 の項は寄与が 0 として扱われるように実装設計する必要がある。
3.1.2 連続分布（密度・微分エントロピー）での注意
連続変数では密度を用いるため、微分エントロピーや対数密度の扱いが絡み、離散と同様の単純な理解がそのまま成り立たない場合がある。条件付き相互情報量の定義自体は密度に基づくが、数値計算では推定誤差が支配的になりやすい。
さらに、連続変数の変換により密度の値は変わっても、情報量としての量がどう振る舞うかを意識する必要がある。実務では密度推定、分割（ビニング）、最近傍法などの近似手段を使い、誤差評価と頑健性の確認が欠かせない。
3.2 推定の実務（サンプルからの計算）
3.2.1 プラグイン推定とその限界
手元のサンプルから分布を推定し、その推定値を定義式に代入する方法はプラグイン推定と呼ばれる。実装は容易だが、条件付き相互情報量は分割の粗さや推定量のバイアスの影響を強く受けることがある。特にデータが不足すると、細かな条件付き部分ごとの確率推定が不安定になり、見かけ上の依存が増幅あるいは減衰する。
そのため、サンプルサイズ、次元、条件変数の離散化方法が結果に大きく影響する。推定値の大小だけで結論を出すのではなく、推定誤差の評価が必要になる。
3.2.2 バイアス低減の代表的手法
バイアス低減の代表例として、平滑化（疑似カウントなど）、縮小推定、リサンプリングに基づく補正がある。離散化した後の推定では、状態数の増大に伴う過学習的な偏りを抑える工夫が重要になる。
連続の場合では、最近傍距離に基づく推定器や、カーネル密度推定といったアプローチが使われる。いずれも「一致性」だけでなく「有限サンプルでの分散とバイアスのバランス」を検討するのが実装上の要点である。
3.3 数値計算の落とし穴
3.3.1 0確率・ログ計算の扱い
ゼロ確率に遭遇するとログが未定義になり得るため、プログラム上は安全策が必要である。典型的には、確率推定で完全なゼロを避ける平滑化を行う、あるいは計算時に寄与が 0 の項を除外する実装にする。
また、非常に小さい値に対する浮動小数点誤差も問題になりやすい。加えて、対数の底の統一（ビット換算）を誤ると、比較や閾値設定が崩れることがある。
3.3.2 次元の呪いと頑健性
条件付き相互情報量は \(X\)、\(Y\)、\(Z\) の同時構造を扱うため、次元が上がると推定が急激に難しくなる。条件変数が高次元になると、\(Z\) の値ごとの局所推定がデータ不足になりやすい。
頑健性のためには、次元削減、特徴の事前設計、条件変数の取り扱いを検討することが多い。さらに、推定器によってはパラメータ（近傍数やカーネル幅など）に敏感な場合があり、交差検証や感度分析で安定性を確認するのが望ましい。
4 応用例
4.1 因果推論・依存関係の評価
4.1.1 条件付き独立性検定との結び付き
条件付き相互情報量は、条件付き独立性の有無を検定する発想と結び付く。統計的には、推定した条件付き相互情報量が小さいほど「条件付き独立に近い」とみなせる。
ただし検定として扱うには、推定バイアスや有限サンプルの分布を踏まえた帰無仮説下の評価が必要になる。そこで、シャッフル手続き、置換検定、あるいは理論的な漸近結果に基づく近似が用いられることがある。
4.1.2 変数選択や特徴評価への応用
条件付き相互情報量は、候補変数が他の情報に対して独自の寄与を持つかを調べる指標として利用できる。たとえば特徴選択では、他の特徴（あるいは潜在変数）を条件として与えたときに、なお目的変数に有意に関連する特徴を残す発想に繋がる。
このとき評価対象は「単なる相関」ではなく、「条件を見た後でも残る予測可能性」である点が重要になる。結果として、冗長な特徴を削減し、解釈性の向上につながる場合がある。
4.2 機械学習の目的関数として
4.2.1 情報量正則化（学習の安定化）
機械学習では、過学習の抑制や汎化の改善のために正則化項を加えることがある。条件付き相互情報量を正則化に用いる場合、「ある潜在表現が入力に過度に依存しないようにする」あるいは「条件付きで必要な関連だけを保持する」といった設計思想が取り入れられる。
具体的には、表現学習や生成モデルで、情報の流れを制御する目的関数の一部として登場することがある。これにより学習過程の安定化や表現の整理に寄与する可能性がある。
4.2.2 表現学習での利用
表現学習の文脈では、潜在変数を導入して「どの情報を保持するべきか」を定めることが多い。条件付き相互情報量は、入力から潜在表現への依存と、目的変数との関連を同時に考える設計に向いている。
たとえば、ある条件が与えられた状況で潜在表現が出力とどれだけ結び付くかを調整することで、望ましい不変性や分離性を促すことができる。実際には推定誤差の影響を受けるため、実装では推定器の選択と計算コストが大きな論点になる。
4.3 信号処理・通信での解釈
4.3.1 チャネル推定や関連度指標として
通信系では、入力信号 \(X\) と受信信号 \(Y\) の結びつきはチャネル特性に依存する。外部条件や環境パラメータ \(Z\) があるとき、条件付き相互情報量は「その条件のもとで、チャネルがどれだけ情報を伝えているか」を測る指標として解釈できる。
チャネル推定では、条件変数を持つモデルを仮定し、測定データから条件付き相互情報量が最大になるパラメータを探す、といった形の最適化に繋がる場合がある。関連度の大小は、通信路の劣化や同期ずれなどを反映し得る。
4.3.2 復号・推定と情報量の整合性
復号や推定の設計では、「観測からどれだけ推定可能か」を理論的に裏付ける尺度が必要になる。条件付き相互情報量は、条件を踏まえたときの理想的な情報伝達能力に関係する考え方と整合的である。
実務では、最尤推定や近似推定と情報量指標の関係を検討することで、推定誤差がどの要因で増えるか（条件の不確かさ、チャネル変動、観測ノイズなど）を分析しやすくなる。結果として、設計パラメータの改善や頑健な手法の選定に役立つ。
5 参考：周辺概念との比較
5.1 相互情報量との比較
5.1.1 条件なし依存と条件あり依存の違い
相互情報量は \(Z\) を無視したときの依存を測る。対照的に条件付き相互情報量は、\(Z\) によって説明される部分を取り除いた後に残る依存を対象にする。
たとえば、ある第三要因が \(X\) と \(Y\) の両方に影響していると、条件なしでは強い関連が見えることがある。しかし \(Z\) を観測すると、関連が消えるなら条件付き相互情報量は小さくなる。この違いにより、因果的・機構的な理解に近づける可能性がある。
5.2 交差エントロピー・エントロピー差
5.2.1 似ているが別物である指標の整理
交差エントロピーは、真の分布とモデル分布の食い違いを損失として測る量であり、分類や確率推定の目的関数としてよく使われる。一方、条件付き相互情報量は「複数変数間の依存」を測る指標であり、損失の形とは直接一致しない。
エントロピー差は、エントロピーの比較として現れることがあるが、条件付き相互情報量が持つ「両変数を結び付ける構造」を反映するには、条件付きエントロピーの差の形に整理される必要がある。したがって、見た目が似た計算式でも、目的が異なる場合がある点を注意する必要がある。
5.3 交差検証・統計検定との関係
5.3.1 検定としての見方と距離としての見方
条件付き相互情報量は「距離」のように扱われることがある。KLダイバージェンスとして表せるため、条件付き独立の仮説からの隔たりを数値化する解釈が可能だからである。ただし厳密には距離の公理をすべて満たすとは限らず、主に“隔たりの尺度”として理解されることが多い。
検定として見る場合は、推定した値を帰無仮説下の基準と比較する形になる。交差検証は主に予測性能評価の枠組みであるが、条件付き相互情報量が目的関数に組み込まれている場合には、ハイパーパラメータ選択に間接的に関わることがある。すなわち、学習の安定性や汎化を高めるための実験設計に活用できる。