1 基本概念
周辺尤度は、あるモデルのもとで観測データがどの程度説明されるかを表す量である。未知パラメータや潜在変数を取り除いたうえで、データ全体に対する整合性を評価するために用いられる。ベイズ統計では証拠とも呼ばれ、仮説の支持度を比較する指標として重視される。
1.1 定義
周辺尤度は、観測データの同時分布を未知量について周辺化して得られる量である。確率モデルの各成分を統合した結果として現れ、特定の観測列がどれだけ生じやすいかを数値化する。モデルの妥当性を論じる際の基礎となる。
1.2 尤度との違い
尤度は、データを固定し、パラメータを変化させたときの適合度を表す。一方、周辺尤度はパラメータを積分または総和で消去し、モデル全体の支持を測る。したがって、前者が推定の局面で使われやすいのに対し、後者はモデル選択や比較に向いている。
1.3 事後分布との関係
事後分布は、事前分布と尤度の積を正規化して得られる。ここで周辺尤度は正規化定数として働き、事後分布が確率分布になるために不可欠である。言い換えると、未知量の更新規則を成立させる中心的な量である。
2 数学的定式化
周辺尤度は、観測変数、パラメータ、潜在変数の関係を明示すると理解しやすい。一般には、データの確率を未知量に関して積分または総和したものとして表される。表現は離散・連続の別やモデル構造に応じて変わる。
2.1 離散型の場合
離散変数をもつモデルでは、周辺尤度は各状態の確率を足し合わせて求める。観測データに対応する確率質量を、未観測の可能な値ごとに集計する形である。状態数が少ない場合は明示的に計算できるが、多数になると計算負荷が増す。
2.2 連続型の場合
連続パラメータを含むとき、周辺尤度は確率密度の積分で表される。事前分布と尤度の積を、全パラメータ空間にわたって積分することで得られる。解析解が存在しないことも多く、その場合は近似や数値計算法が必要になる。
2.3 潜在変数を含む場合
潜在変数を導入するモデルでは、観測されない中間表現を消去して周辺尤度を構成する。これはデータの背後にある生成過程を直接扱う際に重要である。混合モデルや階層モデルで特に頻出する。
2.3.1 積分による周辺化
潜在変数が連続であれば、周辺化は積分によって行う。各潜在状態に対する寄与を連続的に集約し、観測データのみの確率を残す。これにより、未観測要素の不確実性を反映した評価が可能になる。
2.3.2 総和による周辺化
潜在変数が離散であれば、対応する周辺化は総和で与えられる。考えられる配置やクラス割当をすべて足し込むことで、観測の確率を求める。カテゴリ変数を含むモデルで基本となる操作である。
3 ベイズ統計における役割
周辺尤度は、ベイズ統計の枠組みで中心的な位置を占める。事前情報と観測結果を結びつけるだけでなく、仮説同士の比較にも使われる。単なる推定量ではなく、推論全体の基盤として機能する。
3.1 事後確率の正規化
事後確率を求めるには、尤度と事前分布の積を正規化する必要がある。その分母が周辺尤度であり、全体の確率質量を1に調整する。したがって、ベイズ更新の計算を閉じる役割を担う。
3.2 ベイズファクター
ベイズファクターは、二つのモデルの周辺尤度の比として定義される。観測データがどちらのモデルにより強く支持されるかを示す尺度である。値が大きいほど、前者の仮説が相対的に有利と解釈される。
3.3 モデル選択
モデル選択では、周辺尤度を用いて候補モデルを比較する。単に当てはまりの良さを見るのではなく、未知量の不確実性まで含めた総合評価になる。これにより、複雑なモデルが必ずしも有利とは限らないことが明確になる。
3.3.1 モデル比較の基準
比較の基準としては、周辺尤度の大小やその対数が使われる。高い値を示すモデルは、観測データをより自然に生成しうるとみなされる。実務では、差の大きさを目安に支持の強さを判断することが多い。
3.3.2 過学習との関係
周辺尤度は、過度に複雑なモデルに不利に働く傾向がある。パラメータ数が増えると適合は改善しやすいが、事前分布で平均化されるため、広い空間全体での支持が問われる。結果として、不要な複雑化を抑える効果をもつ。
4 計算方法
周辺尤度の厳密計算は、一般に容易ではない。特に高次元モデルでは、積分領域が広くなり、解析的処理が困難になる。そのため、問題設定に応じて近似や数値的手法が用いられる。
4.1 解析的計算
共役事前分布を使う単純なモデルでは、周辺尤度を閉じた形で求められる。積分が標準的な分布族に帰着するため、手計算や記号計算が可能である。古典的なベイズモデルでは、この方法が最も明快である。
4.2 数値積分
次元が低い場合や構造が単純な場合には、数値積分が有効である。格子点や積分公式を使って、連続領域の寄与を近似する。精度は高められるが、次元が増えると計算量が急増する。
4.3 モンテカルロ近似
モンテカルロ法では、乱数を用いて周辺尤度を近似する。積分を多数の標本の平均に置き換えることで、複雑な分布にも対応しやすい。推定精度はサンプル数に依存し、ばらつきの制御が重要になる。
4.3.1 マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法は、事後分布からの標本生成により周辺尤度推定を補助する。直接計算が難しい高次元問題で広く利用される。ただし、連鎖の収束や自己相関を考慮しないと推定が不安定になりうる。
4.3.2 重要度サンプリング
重要度サンプリングでは、扱いやすい分布から試料を取り、重み付けによって目標の積分を推定する。周辺尤度の近似にも応用できるが、提案分布の選び方が性能を左右する。重みの分散が大きいと、推定誤差が増えやすい。
4.4 近似計算法
厳密な積分が難しいときは、解析近似によって周辺尤度を評価する。これらの方法は、十分に大きなデータや滑らかな事後分布で有効である。精密さと計算効率の折衷として用いられる。
4.4.1 ベイズ情報量規準
ベイズ情報量規準は、対数周辺尤度の近似として導かれる指標である。モデルの適合と複雑さを同時に考慮する特徴をもつ。大標本の状況で使いやすく、比較の便宜上、実装されることが多い。
4.4.2 ラプラス近似
ラプラス近似は、事後分布の最大点の近傍を二次近似して積分を評価する。局所的なガウス近似により、周辺尤度を比較的簡便に求められる。計算コストが低い一方で、多峰性の強い分布には注意が必要である。
5 性質と解釈
周辺尤度は、確率論的な定義をもつと同時に、モデル評価の意味合いも帯びる。数値の大小だけでなく、どの要因に敏感かを理解することが重要である。特に事前設定との関係は解釈上の焦点になる。
5.1 正規化定数としての性質
周辺尤度は、事後分布を正規化する定数である。これにより、更新後の分布が全確率1を満たす。単独では観測の相対的な支持を表すが、同時にベイズ推論を成立させる数学的基盤でもある。
5.2 事前分布への依存
この量は、事前分布の形に強く左右される。広い事前を置くと支持が薄まり、狭すぎると不自然な制約を与えることがある。したがって、事前の選択は周辺尤度の値そのものに影響する。
5.3 複雑性への罰則
周辺尤度は、自由度の多いモデルに自動的な罰則を与える傾向がある。パラメータ空間が広いと、良好な領域が局所的に存在しても、全体としては平均化で不利になる。これはモデルの簡潔さを一定程度評価する仕組みとして働く。
5.4 データ適合度の尺度
観測データとの一致度をまとめて見る尺度としても解釈できる。単なる最大値ではなく、全パラメータを通じた支持の総量を反映する点が特徴である。そのため、適合と安定性を併せて判断する際に有用である。
6 応用
周辺尤度は、統計モデリングと機械学習の両方で幅広く使われる。特に、候補構造が複数ある場面で効果を発揮する。推定結果の良し悪しだけでなく、構造選択そのものを扱える点が利点である。
6.1 変数選択
変数選択では、説明変数の組み合わせごとに周辺尤度を比較する。不要な変数を含むモデルは、しばしば支持が弱くなる。これにより、予測性能と簡潔さの両立を図りやすい。
6.2 階層モデル
階層モデルでは、上位レベルと下位レベルの未知量を順に周辺化する。個体差や群差を扱う設定で、データ全体の説明力を評価する指標として働く。多段構造の不確実性をまとめて扱える点が重要である。
6.3 混合モデル
混合モデルでは、各成分への割当を潜在変数として処理する。周辺尤度は、成分の重みや分布形状を含めてモデル全体を評価する。クラスタ数の比較や成分数の検討に役立つ。
6.4 機械学習におけるモデル評価
機械学習では、モデルの汎化性能を間接的に見るために利用されることがある。学習データへの適合だけでなく、複雑さとの均衡を見る観点が得られる。ベイズ的手法では、ハイパーパラメータ調整にも関与する。
7 関連概念
周辺尤度は、周辺分布や条件付き尤度など、周辺化や比較に関わる概念と密接に結びつく。用語の違いを押さえることで、推論の意味がより明確になる。似た表現でも、対象と目的は異なる。
7.1 周辺分布
周辺分布は、複数変数の同時分布から一部の変数を消去して得る分布である。周辺尤度は、その考え方を観測データの評価に適用したものと捉えられる。両者は、不要な変数を取り除く操作を共有している。
7.2 条件付き尤度
条件付き尤度は、特定の条件のもとで尤度を評価する考え方である。周辺尤度が未知量を平均化するのに対し、こちらは与えた条件を固定して扱う。分析の目的に応じて使い分けられる。
7.3 尤度比
尤度比は、二つの仮説やモデルの尤度を比較する比である。周辺尤度を用いる場合、その比はベイズファクターへと接続する。どの仮説がデータに適しているかを相対的に見る枠組みである。
7.4 ベイズ証拠
ベイズ証拠は、周辺尤度の別名として用いられることが多い。観測結果をどれだけ支持するかを示す量で、事前情報を組み込んだ評価である。モデル比較の文脈では、中心的な判断材料となる。
8 歴史と発展
周辺尤度の考え方は、ベイズ統計の成熟とともに整理されてきた。理論上の定式化だけでなく、計算可能性の向上によって応用範囲が広がった。現代では、統計学と機械学習の接点で重要な役割を果たしている。
8.1 ベイズ統計の発展
ベイズ統計の発展に伴い、事前分布と証拠を組み合わせる枠組みが洗練された。初期には概念的な位置づけが中心だったが、次第にモデル選択の実用指標として確立した。理論と応用の両面で存在感を増してきた。
8.2 計算統計学との関係
計算統計学の進展は、周辺尤度の利用を大きく後押しした。高次元積分や複雑モデルへの対処法が整い、近似推定が現実的になった。これにより、従来は扱いにくかったモデル比較が実務に取り入れられるようになった。