1 推移的依存の概観
推移的依存とは、「ある変数が別の変数に情報的に依存する」という関係が、途中に媒介変数を置くことで段階的に表現できる性質を指す。依存が直接一段で生じるのでなく、複数の条件付けを介した分解として捉えられるとき、依存の成立は“推移的”に整理される。
この考え方は、確率変数同士の結びつきをグラフで扱う枠組みと相性がよい。どの条件が依存を遮断し、どの条件が残すかを言語化しやすくなり、推論や推定の設計で「必要十分な情報だけを揃える」方向に役立つ。
1.1 定義と直感
推移的依存の核は、相関や因果の話に限らず、「情報の持ち越し」がどの媒介変数経由で発生するかを表す点にある。ある変数 \(X\) から別の変数 \(Y\) へ向けて、途中の変数 \(Z\) が“情報の通り道”になっている場合、依存は \(X \to Z \to Y\) のように分解して理解できる。
依存が推移的に整理できるとは、条件付き独立性の連鎖（あるいはそれと等価な相互情報量の構造）が成立し、直接の結びつきを数理的に縮約できることを意味する。
1.1.1 条件付き依存の考え方
条件付き依存は、「ある条件を与えたうえでなお、変数同士が情報的につながっているか」を問う枠組みである。条件が増えると、相手の知識がもう不要になる場合があり、そのとき依存は弱まったり消えたりする。
推移的依存では、条件が一度で完結しないことが多い。例えば最初の条件付けで依存が一部だけ解け、次の条件付けでさらに関係が整理される、といった段階が自然に現れる。
1.1.2 推移性が生じる状況
推移性が現れる典型的な状況は、観測や生成のプロセスが段階的である場合である。情報が一度に目的変数へ到達するのではなく、途中の状態（媒介変数）が更新され、その結果として最終的な変数に影響が及ぶ。
たとえば、生成モデルで潜在変数から観測値が生じる設計や、通信で符号化・伝送・復号のように処理が複数段ある設計では、依存が複数ステップに分かれて表現されやすい。
1.2 関連する基本概念
推移的依存を扱うときは、条件付き独立、相互情報量、条件付き相互情報量などの基本量が頻出する。これらは同じ依存構造を別の言語で記述する手段であり、どれを使うかで計算のしやすさが変わる。
また、「何を条件として与えるか」が本質であり、条件の選び方が依存の解釈を左右する。
1.2.1 条件付き独立
条件付き独立とは、条件 \(Z\) を与えたときに \(X\) と \(Y\) の間に情報的な結びつきがなくなる状態をいう。直観的には、\(Z\) が“共通の原因や共有情報”として働き、\(Z\) さえ分かれば \(X\) の追加知識が \(Y\) の不確実性を減らさない、という状況に対応する。
条件付き独立は、推移的依存を記述する際の基礎部品となる。推移的依存があるなら、その背後に条件付き独立性が段階的に組み合わされていることが多い。
1.2.2 相互情報量と条件付き相互情報量
相互情報量は、片方の変数がもう片方についてどれだけ不確実性を減らすかを数値化する。条件付き相互情報量は、さらに条件 \(Z\) を与えた場合に、依然として情報が残っているかを評価する。
推移的依存は、条件付き相互情報量の“分解”や“消失”として現れる。つまり、適切な媒介変数を条件として与えると条件付き相互情報量が小さくなり、ある範囲ではゼロに落ちる、といった構造が見いだされる。
1.3 情報理論での位置づけ
情報理論における推移的依存は、「依存関係の構造」を量として捉える立場に属する。単なる相関の有無を言うのではなく、情報量（不確実性の減少）の観点から、どの条件が依存を遮断するかを整理する。
さらに、推移的依存の整理は計算の要点にもなる。必要な周辺分布だけでよい局面が増えるため、推定・推論の計算量やデータ要件を見積もりやすくなる。
2 数学的定式化
数学的な定式化では、確率分布と条件付き独立性、そして相互情報量やエントロピーの関係を用いる。推移性が成立するとは、媒介変数を挟んだときに成立する等価条件が満たされることとみなされる。
以下では、定義→相互情報量→エントロピーの順に、同じ現象を異なる表現で記述する。
2.1 確率分布にもとづく定義
確率分布にもとづく定義では、条件付き独立性の連鎖を中心に置く。推移的依存は「依存が分解できる」ことに対応するため、確率の因子分解や独立性の関係として扱える。
また、この段階では媒介変数の選択が鍵である。媒介として何を採用するかで、見える独立性の形が変わる。
2.1.1 条件付き独立性の連鎖
条件付き独立性の連鎖は、複数の中間点を介して依存が整理される状況を表す。形式的には、条件を与えたもとである組の変数が独立になり、さらに別の条件を加えることで独立性が連結されていく、という形で記述される。
その結果、「最終的に目的変数同士がどう結びつくか」が媒介変数の選び方に依存して決まる。
2.1.1.1 一般形（任意の媒介変数）
媒介変数を \(Z\) とし、任意の媒介集合（あるいは1個の媒介変数）を考える。推移的な依存構造があるとは、ある条件付き独立性が成立し、かつそれが段階的に分解できることを指す。
代表的な形として、条件 \(W\) を与えたもとで \(X\) が \(Z\) に依存し、さらに条件 \(W\) および \(Z\) のもとで \(Z\) が \(Y\) に依存するといった連鎖が表現される。これにより、適切な条件を与えたときに \(X\) と \(Y\) が独立になる（または独立に近づく）といった性質が導かれる。
2.1.2 条件付き分布の分解
条件付き分布の分解は、推移的依存が成立する背後にある構造を確率論的に表す。もし媒介変数を用いることで \(p(x,y\mid w)\) が分解できるなら、その分解は依存関係の縮約を意味する。
例として、条件付きで \(X\) と \(Y\) が分離できるなら、条件付き分布は積の形に近づく。結果として推論では、同時分布を扱う必要が減り、必要な周辺分布から解ける形になる。
2.2 相互情報量による表現
相互情報量を用いると、推移的依存は「情報がどこで遮断されるか」として表現できる。条件付き相互情報量がゼロになる場面は条件付き独立に対応し、推移性はその消失条件の組合せとして記述される。
ここでは等価条件と、依存消失の考え方を整理する。
2.2.1 推移的依存の等価条件
推移的依存の等価条件は、確率論的条件付き独立の主張と相互情報量の主張が一致する形で与えられる。すなわち、条件付き相互情報量がゼロになることは、条件付き独立が成立することと同値になる。
さらに推移性がある場合、複数の媒介段階により条件付き相互情報量が段階的に整理され、直接依存として見えていたものが、媒介を条件に入れることで情報学的に説明可能になる。
2.2.2 依存の消失（ゼロ相互情報量）
依存の消失は、条件付き相互情報量 \(I(X;Y\mid Z)\) がゼロになることで表せる。ゼロであるなら、\(Z\) を知ったうえで \(X\) を追加で観測しても \(Y\) の不確実性は増減しない。
推移的依存では、「最初は依存が見えるが、適切な媒介を条件に加えると消える」という挙動がしばしば現れる。条件の増加が、情報の冗長部分や中間に残っていた不確実性を解消するためである。
2.3 エントロピーによる見通し
エントロピーを使うと、依存構造は不確実性の変化量として見通しがよくなる。条件付きエントロピーは、条件を与えたあとで残る不確実性を表し、相互情報量はその差分として書ける。
また、推移的依存の分解は、エントロピーの加法性や分解公式と整合的に理解できる。
2.3.1 条件付きエントロピーの関係
条件付きエントロピー \(H(Y\mid Z)\) は、\(Z\) が分かった後に \(Y\) がどれだけ不確かかを示す。条件付き相互情報量は、\(H(Y\mid Z)\) と \(H(Y\mid X,Z)\) の差として理解できる。
推移的依存では、媒介を条件に入れることで \(H(Y\mid X,\text{媒介})\) が \(H(Y\mid \text{媒介})\) に近づく（あるいは一致する）ため、情報学的な依存が消える。
2.3.2 情報量の加法性との整合
エントロピーや相互情報量には、分解・加法の関係がある。推移的依存が成立する構造では、情報が複数段で伝達され、その寄与が整合的にまとめ上げられる。
この整合性により、符号化設計や推定手順で、どの情報が“新規寄与”でどの情報が“説明済み寄与”かを切り分けやすくなる。結果として計算や設計が安定する。
3 依存関係の構造化
依存関係の構造化では、依存をグラフやネットワークの形で表し、媒介と条件付けの役割を明確にする。推移的依存は、「媒介を通じた情報伝達」という構図を数学的に支えるため、構造化と相互補完の関係にある。
ここでは、依存グラフ、マルコフ性、因子分解・ベイズネットワークを扱う。
3.1 依存グラフと媒介
依存グラフは、確率変数間の関係を見える化する手段である。推移的依存を理解する際には、辺の有無だけでなく、どの節点を条件に入れると“経路が遮断されるか”が重要になる。
また、有向・無向の見方により、解釈の焦点が変わる。
3.1.1 有向・無向の見方
有向の見方では、矢印が情報や影響の向きを示すため、媒介の段階構造を意識しやすい。一方、無向では相互の関連として表現され、依存の強調は経路という概念に寄る。
推移的依存はどちらでも議論できるが、媒介変数を介した段階の取り扱いは有向のほうが直感に合いやすいことが多い。
3.1.2 どこを条件付けするか
条件付けの選択は、依存が消えるか残るかを決める操作である。一般に、媒介となる節点を条件に入れると、その節点を通じた情報伝達が遮断され、直接のつながりとして見えていた依存が弱まる。
ただし、どの節点を条件にするかは一意ではない。モデル化の目的（推定、圧縮、検定など）に応じて適切な“遮断点”を設計する必要がある。
3.2 マルコフ性との関係
マルコフ性は、推移的依存を扱う際の重要な規範になる。なぜなら、マルコフ性は「過去と未来の関係が、ある状態で要約される」ことを意味し、媒介を通じた依存の整理と同型になるからである。
ここではマルコフ鎖と条件付きマルコフの解釈を示す。
3.2.1 マルコフ鎖と推移性
マルコフ鎖では、ある時点の状態が次の状態に対して“十分な要約”として働く。これにより、離れた時刻間の依存は、途中の状態を介してのみ残る形になる。
結果として、直接の関係ではなく、状態列が提供する段階的構造によって依存が説明される。これが推移的依存の直感と結びつく。
3.2.2 条件付きマルコフの解釈
条件付きマルコフは、追加の観測や外生変数の存在を前提にしたときの要約関係である。観測が増えると、状態の要約が変わり、依存が消える範囲や残る範囲も変化する。
このため推移的依存では、「どの情報を条件に入れた状態でマルコフ性が成立しているか」を確認することが重要になる。成立しているなら、計算は状態ベクトルの更新に集中できる。
3.3 因子分解・ベイズネットワーク
因子分解やベイズネットワークは、推移的依存を構造として表す実装形である。確率分布を条件付き分布の積に分けることで、依存の段階が明示化される。
そして、媒介がどの因子に効くかが見えやすくなり、推移性の意味が設計に直結する。
3.3.1 因子分解の例
例として、複数の確率変数 \(X_1,\dots,X_n\) の同時分布を、順序や親関係に沿った条件付き分布の積として表すことができる。各因子は特定の親集合に依存し、他の変数からの影響はその親集合経由で表現される。
このとき、ある変数が別の変数へ与える“情報の伝達ルート”は、親関係の鎖として現れる。推移的依存はその鎖が媒介を介して実現される現象として理解できる。
3.3.2 推移的依存がもたらす整理
ベイズネットワーク等の枠組みでは、条件付き独立性の関係がグラフから読み取れる場合がある。推移的依存が当てはまるなら、遠い節点同士の依存は経路を通じた要約として現れ、直接同時処理を避けられる。
さらに、推論では必要な周辺の計算範囲を狭められるため、計算資源の見積もりが立てやすい。
4 応用と実務的含意
推移的依存は、推論・圧縮・解析設計に実務的な効果をもたらす。特に「どの条件付けが必要で、どれが冗長か」を定めることで、計算負荷とデータ要件を抑えやすい。
ここでは推定・符号化、設計上の注意に焦点を当てる。
4.1 推論（推定・予測）への利用
推論では、目的変数の分布を求める際に、どの変数を条件に入れるかが計算の成否を左右する。推移的依存があるなら、媒介をうまく選ぶことで推定の手順を整理できる。
また、不要な条件付けを減らすことで、推論の安定性が増す。
4.1.1 依存を利用した推定の組み立て
推移的依存が見えている場合、推定は段階的に組み立てられる。具体的には、媒介変数の分布を先に推定し、その結果を使って目的変数を更新する流れが可能になる。
この構成により、巨大な同時分布を一度に扱う必要が減り、学習の分解や推定器のモジュール化が進む。
4.1.2 不要な条件付けの削減
条件を増やすほどモデルは柔軟になるが、データ不足や推定誤差の増幅につながることがある。推移的依存の観点では、媒介を条件に含めると依存が消える範囲が特定できるため、削れる条件を判断しやすい。
これにより過学習の抑制や推定の効率改善につながる。
4.2 圧縮・符号化との関係
圧縮の観点では、冗長な情報をどこで除けるかが重要である。推移的依存は、情報が媒介変数経由でしか本質的に伝わらない場合に、必要な情報量を局所化するための指針になる。
またボトルネックの特定にも役立つ。
4.2.1 分解にもとづく効率化
符号化では、どの情報を共有し、どの情報を別々に扱うかが設計の中心になる。推移的依存がある構造では、ある変数の情報が別の変数に“媒介経由でしか影響しない”ため、符号化を分解して設計する合理性が生まれる。
結果として、符号長の見積もりを段階的に行えるようになり、効率化が進む。
4.2.2 情報ボトルネックの特定
情報ボトルネックとは、全体の性能や圧縮率を制限する情報の薄い箇所を指す。推移的依存の枠組みでは、媒介変数がどれだけ情報を受け渡しているかが分かり、制約となる箇所を特定しやすい。
条件付き相互情報量の低下が鍵になる場合、ボトルネックは相互依存が残る点ではなく、遮断が起きる点の周辺で顕在化することがある。
4.3 設計・解析上の注意点
推移的依存を前提にした設計では、モデル仮定と現実データのずれに注意が必要である。推移性が部分的に崩れると、計算の分解が破綻したり、推定バイアスが増えたりする。
そのため前提検証と破れた場合の扱いを準備する。
4.3.1 前提（モデル仮定）の検証
まず、媒介として選んだ変数群が現実の生成・観測過程に整合しているかを確認する必要がある。形式的な独立性や情報消失は、モデルの近似として成立している場合もある。
検証は、データに対する条件付き相互情報量の推定、残差依存の検査、予測性能の比較などの形で行われる。
4.3.2 推移性が破れる場合の扱い
推移性が完全には成立しない場合、依存の“残り”が媒介の外側に漏れている可能性がある。そのときは、媒介変数の拡張、条件集合の再定義、あるいは依存が弱い部分を近似として許容する設計が必要になる。
重要なのは、分解推論が失敗した理由を「本質的な情報伝達の欠落」か「推定誤差」かに切り分けることにある。
5 直感を補強する例
抽象概念を理解するために、段階的な情報伝達や条件付けによる変化を具体的にイメージする。ここでは媒介変数が鍵になる例と、ネットワーク比喩による理解を提示する。
※軽い比喩や説明を用い、概念把握を助ける。
5.1 連鎖する情報（媒介変数が鍵）
連鎖する情報は、依存が一本の線でなく複数ステップで伝わることから生まれる。媒介があると、遠い変数同士の結びつきは媒介を通じた説明で整理される。
また条件付けを変えると、どのリンクが機能しているかが見えやすくなる。
5.1.1 雑音経由の依存
例えば、ある信号 \(S\) が媒介 \(Z\) を経由して観測 \(Y\) に届く状況を考える。途中で雑音が混ざるなら、\(Z\) は信号の一部を保持しつつ不確実性も付与する。
このとき \(S\) と \(Y\) の依存は、雑音を含む \(Z\) の役割で整理される。\(Z\) を条件に入れると、\(S\) から見た追加情報が \(Y\) に残りにくくなることがある。
5.1.2 観測の条件付けによる変化
同じ構造でも、観測する変数が変われば依存の見え方が変わる。例えば \(Y\) を観測する前に媒介 \(Z\) を先に観測していると、\(X\) から \(Y\) へ届く情報は“ほぼ使い切り済み”になる場合がある。
その結果、条件付き独立に近い状態が現れ、推移的依存が成立しているかの判定が実務で可能になる。
5.2 ネットワーク的比喩（軽い説明）
ネットワーク的比喩では、依存を経路とみなす。橋渡し役となる媒介が“通行証”のように働き、条件によって通行可能性が切り替わる、と捉えると直感が掴みやすい。
ここでは軽い比喩として説明する。
5.2.1 「橋渡し役」が依存をつなぐ
媒介 \(Z\) を橋渡し役とみなすと、\(X\) と \(Y\) の関係は橋を渡る情報によって形作られる。橋を知らないと、遠くの結びつきに見える依存が、実は橋経由の寄与だと分かる。
そして \(Z\) を条件として与えると、橋を渡る必要がなくなり、関係が再編される。
5.2.2 条件を変えると関係が切り替わる
条件集合を変更すると、「どの経路が有効か」が変わる。これにより依存が残る場合と、遮断される場合が入れ替わる。
比喩的には、観測スイッチを入れることで通信路が開いたり閉じたりするような挙動が起きる。結果として、推移的依存は“条件によって経路が整理される現象”として捉えられる。