1 周辺測度の基本概念
1.1 定義と直観
1.1.1 結合測度からの射影
周辺測度とは、多成分からなる確率モデルで、特定の成分だけに注目するために、全体(結合)の測度からその成分へ対応する領域へ「射影」した測度である。ここでいう射影は、幾何学的な直観に限らず、確率変数の成分変換(写像)を通して、確率の質量を関心のある変数に割り当て直す操作を指す。
典型的には、ベクトル値確率変数 \(X=(X_1,\dots,X_n)\) に対して結合分布(確率測度)を考え、そのうち \(X_1,\dots,X_k\) だけを残すとき、得られる測度が周辺測度にあたる。残さない成分に関する情報は統計的に「消去」され、残した成分だけの分布として再表現される。
1.1.2 消去(マージン化)の考え方
周辺化(マージン化)は、他の変数を「平均化」または「合算」することで、注目変数の分布のみを得る操作として理解できる。連続型では確率密度を積分して他成分を消去し、離散型では確率質量を和で集めて消す。
この考え方は、計測の粗さや関心の範囲が限定される状況にも合う。例えば、観測対象が \(X_1\) のみであるなら、同時に生起していた \(X_2\) などの情報は観測に含まれない。その結果として、\(X_1\) の分布は結合分布から導かれる周辺分布として現れる。
1.2 周辺分布との関係
1.2.1 確率密度・確率質量との対応
周辺測度は、周辺分布のより一般的な言い方とみなせる。確率変数が連続であれば、周辺分布は確率密度関数(の一種)として表されることが多い。一方、離散であれば確率質量関数として表現される。
混合(離散と連続の併存)では、密度と質量の概念を単純に一つにまとめることは難しく、測度論的な定義が有効になる。すなわち「周辺化」は、積分・和・それらの組合せに見える形で実装されるが、その背後には測度の射影(押し出し)がある。
1.2.2 期待値・確率の再構成
周辺測度が与えられると、注目成分に関する確率や期待値を再構成できる。たとえば、注目変数 \(X_1,\dots,X_k\) に関する事象 \(A\) について、\(\mathbb{P}((X_1,\dots,X_k)\in A)\) は周辺測度で直接計算できる。同様に、注目成分のみに依存する関数 \(g(X_1,\dots,X_k)\) の期待値も周辺測度により求まる。
結合分布が得られている場合、周辺化は計算上の「必要な情報だけ残す」手順になる。逆に言えば、周辺測度は注目変数の統計量を決めるのに十分であり、消去した成分の詳細はそれ以上は影響しない。
2 数学的な構成
2.1 周辺測度の形式的定義
2.1.1 可測空間と測度の対応
確率測度は可測空間上で定義される。ベクトル確率変数 \(X\) が可測写像として定まり、各成分の取りうる集合(標本空間とは別に、状態空間)に対応する可測空間が用意される。結合測度は、\(X\) の値全体に対応する測度として与えられる。
周辺測度は、その測度をさらに「成分の射影」へ対応させることで定義する。具体的には、関心のある成分だけを取り出す写像(例:\(\pi: \mathcal{X}_1\times \cdots \times \mathcal{X}_n \to \mathcal{X}_1\times \cdots \times \mathcal{X}_k\))を用い、その写像による押し出し測度として周辺測度を得る。ここで押し出し測度とは、元の測度が写像で移された後に、可測集合へ割り当てる質量を整合的に定義する仕組みである。
2.1.1.1 射影測度としての表現
より形式的には、結合測度 \(\mu\) が \(\mathcal{X}_1\times\cdots\times \mathcal{X}_n\) 上にあるとする。射影写像 \(\pi\) に対して周辺測度 \(\mu_{1:k}\) を \[ \mu_{1:k}(B)=\mu(\pi^{-1}(B)) \] として定める。ここで \(B\) は注目成分の空間 \(\mathcal{X}_1\times\cdots\times \mathcal{X}_k\) の可測集合である。
この定義は、直観的な「消去」と一致する。注目しない成分に関する情報は、\(\pi^{-1}(B)\) の中で統合され、結果として \(B\) に対応する総質量として集約される。
2.1.2 台集合と制約の扱い
測度論では台集合(nonzero がある点の集合)や条件を明確に扱う必要がある。周辺測度は、元の結合測度の台集合に由来する。注目成分の領域で許されない値(確率が常にゼロの領域)があれば、周辺測度でも同様にゼロ質量として現れる。
また、結合分布に制約がある場合、例えば「特定の組合せだけが可能」といった状況では、台集合が低次元の構造を含みうる。このとき、周辺化は空間の次元を見かけ上変えることもあるが、測度としては依然として矛盾なく定義される。結果として、周辺測度の性質(連続性や台の形)も制約を反映する。
2.2 連続型・離散型・混合型
2.2.1 連続型の積分による消去
結合分布が確率密度 \(f(x_1,\dots,x_n)\) を持つ場合、注目成分の周辺密度は未注目成分に関する変数を積分して得る。たとえば \(k\) 成分だけ残すなら \[ f_{1:k}(x_1,\dots,x_k)=\int f(x_1,\dots,x_k,x_{k+1},\dots,x_n)\, dx_{k+1}\cdots dx_n \] となる。
この操作は、確率密度の総和が全空間で 1 になるという規格化と整合する。積分の下で全体の確率質量が保存されるため、周辺密度も同様に規格化条件を満たす。
2.2.2 離散型の和による消去
離散型では確率質量関数 \(p(x_1,\dots,x_n)\) を用いる。周辺分布は未注目成分について和をとることで得られる。具体的には \[ p_{1:k}(x_1,\dots,x_k)=\sum_{x_{k+1},\dots,x_n} p(x_1,\dots,x_n) \] である。
無限個の取りうる値を持つ場合には、収束条件が重要になることがあるが、測度論的定義がその背後で整合性を保証する。実務上は、既知の分布の形に応じて計算可能な範囲へ落とし込むことが多い。
2.2.3 混合型での組合せ
連続と離散が混在する場合、周辺化は「連続成分は積分、離散成分は和」を組み合わせることで表現されることがある。もっとも一般には、単に「密度」や「質量」を前面に出すより、測度の押し出しとして理解する方が確実である。
混合型では、ある成分の周辺が連続になるとは限らず、逆に連続な結合分布でも周辺が特異な形をとる場合がある。このため、計算では形式を保ちつつ、必要なら台集合の特徴を確認してから実装するのが望ましい。
2.3 変換と不変性
2.3.1 単射・写像による周辺化
周辺化と確率変数の変換は、写像を通じて関係づけられる。注目成分に対してさらに関数変換 \(Y=h(X_{1:k})\) を施すと、周辺測度に対する押し出しとして \(Y\) の分布が定まる。すなわち「まず周辺化してから変換する」ことと、「適切な合成写像で最初から押し出す」ことは、測度の性質により整合する。
単射でない写像でも定義は可能であり、写像の逆像の形に応じて質量が集約される。したがって、周辺化は変換の前処理としてだけでなく、後処理としても意味を持つ。
2.3.2 変数の並べ替えと同値性
成分の並べ替え(順序の変更)は、射影写像の取り方を変えるが本質的な構造は保たれる。残す集合の要素が同じなら、得られる周辺測度は対応する成分の並びに合わせて同型に表現できる。
この同値性は、モデリングの実装上重要である。モデルで変数の順序が変わっても、周辺化の結果が同じ統計量を与えることが期待されるため、計算コードではどの成分を残すかを明示して操作を行う必要がある。
3 周辺測度の性質
3.1 単調性・有限加法性・σ加法性
3.1.1 境界事象への適用
周辺測度が測度である以上、確率に関する基本的な加法則を満たす。特に可測集合の列に対する極限挙動が重要であり、単調性(包含関係が増大する列では測度も非減少)や σ 加法性(互いに交わらない可測集合の族に対し和が測度になる)が成立する。
境界事象への適用では、たとえば半直線や多面体のように境界を含む事象を扱う際に、境界での確率が 0 かどうかが計算上の差になることがある。とはいえ、測度として定義された周辺測度はこのような事象の扱いを統一的に可能にする。
3.2 周辺化の計算法則
3.2.1 周辺化の逐次適用
逐次的に周辺化しても、最終的に残す成分が同じなら同じ周辺測度が得られることが多い。これは射影写像の合成が働くためであり、成分を段階的に消去しても、対応する押し出し測度が一致する。
実務では計算の都合で「まずいくつかを消去し、その後さらに消去する」という流れが自然である。その際、逐次操作が最終結果を変えないことが保証されるため、手順の組み替えが可能になる。
3.2.2 結合分布からの段階的復元
結合分布から周辺を作るのは容易だが、逆に周辺から結合を一意に復元できるとは限らない。周辺化は情報を落とす操作であるため、一般には「同じ周辺を持つ別の結合分布」が存在しうる。
ただし、モデル化の仮定(例えば特定の因子分解や条件付き独立)を導入すれば、段階的に復元が可能になる場合がある。たとえば、条件付き分布の形が既知であれば、周辺と組み合わせて結合分布を組み立てられる。ここでも周辺化と復元は対として理解される。
3.3 周辺化と独立性
3.3.1 独立なときの積形
注目成分が独立であるなら、周辺の形には積の構造が現れる。具体的には結合分布が独立の仮定で因子分解されると、周辺化はその因子分解と整合的になり、未注目成分を消した結果として残る密度や質量が分離される。
この性質は推定や計算を簡単にする。独立性は、情報の構造を反映しており、周辺化後の式で不要な相互依存項が消えることで実装負荷が下がる。
3.3.2 条件付き独立と周辺化
条件付き独立が成り立つ状況では、周辺化はさらに効率よく扱えることがある。条件付き独立は、ある変数集合が与えられた下で他の集合が無関係になるという形を取り、結合分布の因子分解に対応する。
このとき、周辺化は「条件の取り扱い」を崩さないように進める必要がある。条件付きでの積分・和を適用しつつ、条件側の変数を残すことで、適切な周辺(あるいは周辺の条件付き版)が得られる。結果として、条件付き独立の仮定に基づく推論が成立しやすくなる。
4 応用と計算例
4.1 多変量解析における利用
4.1.1 部分情報からの推定
多変量データでは、観測できるのが全成分ではない、あるいは注目する部分に集中したいという場面が多い。周辺化は、欠測がある場合の数学的枠組みとして現れ、残っている変数のみの分布に基づく推定を可能にする。
また、特徴量選択の観点でも有用である。ある成分の寄与を直接扱う前に、周辺分布や低次元の周辺統計量を調べることで、スケールや分布形の見当をつけられる。
4.1.2 周辺分布を用いたモデル化
モデル化では、全変数の結合分布をそのまま扱うより、周辺分布や条件付き分布を組み合わせて設計することがある。たとえば、観測方程式に基づいて周辺尤度を構成し、パラメータ推定を進める設計が典型的である。
このような場合、周辺測度は「モデルが実際に説明すべき観測対象の分布」を数学的に切り出す役割を担う。結果として、モデル評価や学習のための目的関数が明確になる。
4.2 ベイズ推論での役割
4.2.1 周辺化による周辺尤度
ベイズ推論では周辺化により周辺尤度が作られる。未知のパラメータ \(\theta\) や潜在変数 \(Z\) に対して、観測 \(X\) の確率を積分・和で消去し、\(\theta\) に関してある形を得る操作が行われる。
周辺尤度は、観測データの説明力を測る量として扱われることが多い。さらに、周辺化を介してモデル比較やハイパーパラメータの最適化が可能になる。
4.2.2 事後分布の周辺化
事後分布は多くの場合高次元になるため、興味のある成分だけを取り出す必要がある。事後分布から周辺化を行うことで、特定のパラメータ成分の分布(周辺事後分布)を得られる。
この周辺化により、信頼区間や確率的な予測量が注目変数に対して計算可能になる。たとえば、ある係数だけの不確実性を評価したいとき、他の係数を統合消去して分布を作る。
4.3 実務上の計算手順
4.3.1 積分・和の選択基準
実務では、対象の変数が連続か離散かに応じて、消去の方法を選ぶ。密度が定義される場合は積分、確率質量が与えられる場合は和を用いる。ただし、形式が混在している場合もあるため、測度論的に整理された定義に立ち返ると判断が安定する。
また計算上は、積分の次元を減らす工夫が重要になる。独立性や条件付き独立があると、不要な変数の消去が分解し、計算負荷が下がる。数値計算では、積分領域の扱いと誤差管理が現実的な論点になる。
4.3.2 代表的な例(正規分布・カテゴリ分布など)
正規分布では、結合分布が多変量正規になると周辺分布も同じ族に属する。したがって、分散共分散行列の対応する部分行列を取り出すことで周辺分布のパラメータが得られる。これは周辺化が計算しやすい代表例である。
カテゴリ分布(多項分布に関連する離散分布)では、周辺化はカテゴリの和として表現される。例えば、複数のカテゴリ変数が結合している場合でも、注目しないカテゴリに対応する確率を合算することで周辺の確率質量が計算できる。
このように、分布の族が閉じている場合は周辺化が簡潔になる一方、一般の分布では積分・和が複雑になりやすい。そのため、モデル選択の段階で周辺化の計算可能性が考慮されることも多い。