1 基本概念
1.1 定義
事後分布は、観測データや得られた証拠を反映して更新された確率分布である。未知の母数、状態、仮説などに対して、どの程度ありそうかを確率的に表現する。ベイズ統計では、観測前の情報と観測後の情報をつなぐ中核的な概念にあたる。
1.2 ベイズ推論における位置づけ
ベイズ推論では、まず事前分布によって観測前の不確かさを記述し、次に尤度を通じてデータとの整合性を評価する。その結果として事後分布が得られ、これが推論の最終的な基盤となる。したがって、事後分布は情報更新の帰結であり、推定や予測の出発点にもなる。
1.3 事前分布と尤度との関係
事後分布は、事前分布と尤度の積に比例する。事前分布は先行知識や仮定を、尤度は観測されたデータが各仮説のもとでどれほど起こりやすいかを表す。両者を組み合わせることで、知識と観測事実が統合される。
1.4 観測後の不確実性の表現
事後分布は、単一の推定値では捉えにくい不確実性を、分布全体として示す。これにより、点推定だけでなく、区間推定や予測の幅、意思決定に伴うリスクも扱いやすくなる。観測を経てもなお残る曖昧さを、定量的に表現する仕組みといえる。
2 数理的定式化
2.1 ベイズの定理による表現
事後分布はベイズの定理で与えられる。未知量を \(\theta\)、データを \(x\) とすると、事後分布 \(p(\theta \mid x)\) は事前分布 \(p(\theta)\) と尤度 \(p(x \mid \theta)\) に基づいて定まる。基本式は、事後分布が観測情報によって再構成されることを明確に示す。
2.2 正規化定数
事後分布は比例式として書かれるため、分布として成立させるには正規化が必要である。その役割を担うのが周辺尤度や証拠と呼ばれる正規化定数である。これは全ての候補を積分または総和した値で、事後分布の総確率を1に整える。
2.3 離散型の事後分布
未知の量が離散的な値をとる場合、事後分布は各値に確率を割り当てる形になる。たとえば有限個の仮説の集合では、それぞれの仮説に対する事後確率が比較可能である。計算は総和に基づき、確率質量関数として扱われる。
2.4 連続型の事後分布
未知量が連続的である場合、事後分布は確率密度関数として記述される。個々の点そのものに確率を与えるのではなく、区間に対する確率を積分で求める。実際の応用では、この形式が最も広く用いられる。
2.5 条件付き確率としての解釈
事後分布は、観測済みデータの下で未知量が従う条件付き確率分布とみなせる。つまり、データを既知として固定したときに、残る不確実性を記述する。条件付き確率の観点は、ベイズ推論の直感的理解にも役立つ。
3 性質
3.1 更新則
事後分布は、新しい観測が加わるたびに逐次更新できる。初期の事前分布は、得られたデータに応じて次第に修正され、より精密な分布へ移る。これにより、継続的な学習や逐次推定が可能になる。
3.2 一意性
同じ事前分布、同じ尤度、同じ観測データが与えられれば、事後分布は一意に定まる。逆にいえば、どのような更新結果になるかは、入力となる情報の組合せに依存する。ベイズの枠組みでは、この決定性が推論の整合性を支える。
3.3 支持集合
事後分布の支持集合は、確率密度や確率質量が正となる領域である。事前分布や尤度がゼロとなる部分では、通常、事後分布もその影響を受ける。したがって、支持集合は観測後に残る可能な値の範囲を示す。
3.4 期待値と分散
事後分布からは、期待値や分散などの要約統計量を求められる。期待値は代表的な推定値として、分散は不確実性の大きさとして解釈される。これらは実用上、最もよく参照される指標である。
3.5 共役事前分布との関係
共役事前分布を選ぶと、事後分布が同じ分布族に属するため計算が簡単になる。例えば、ベルヌーイ試行とベータ分布、ポアソン分布とガンマ分布の組合せが知られている。解析的な扱いやすさから、理論研究でも実務でも重宝される。
4 計算手法
4.1 解析的計算
共役関係が成り立つ場合や単純なモデルでは、事後分布を式変形のみで導出できる。閉形式で書ければ、計算負荷が小さく、解釈もしやすい。もっとも、現実の問題ではこの条件が常に満たされるとは限らない。
4.2 数値積分
積分が明示的に解けない場合、数値積分によって正規化定数やモーメントを求める。低次元の問題では有効だが、次元が高くなると計算量が急増する。そこで、モデルの構造に応じた工夫が必要になる。
4.3 モンテカルロ法
モンテカルロ法では、確率的にサンプルを生成し、その平均や分布形状を近似する。解析解が得にくい場合でも、分布の要点を把握しやすい。乱数を用いるため、近似誤差の評価も重要になる。
4.4 マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法は、目標となる事後分布からのサンプリングを実現する代表的手法である。直接サンプルを得にくい複雑な分布に対して有効で、ベイズ統計の実践を大きく支えている。収束診断や混合の良さが結果の信頼性に関わる。
4.5 変分ベイズ法
変分ベイズ法は、扱いやすい近似分布を用いて事後分布を近似する方法である。最適化問題として定式化できるため、大規模データや高次元モデルに適用しやすい。精度と計算効率のバランスを取る手段として広く使われる。
5 代表的な例
5.1 ベルヌーイ試行の場合
成功・失敗の二値データでは、成功確率に対する事後分布を考える。事前分布としてベータ分布を置くと、観測回数に応じてパラメータが更新される。少数の試行でも扱いやすく、ベイズ更新の基本例としてよく用いられる。
5.2 正規分布モデルの場合
観測値が正規分布に従うと仮定する場合、平均や分散に対する事後分布を導出できる。事前分布の選び方によって、更新結果は比較的明瞭な形になる。測定誤差を含む多くの場面で標準的に利用される。
5.3 ポアソン過程の場合
一定時間内の発生回数を扱うとき、ポアソン過程やポアソン分布が用いられる。発生率に対する事後分布は、観測されたカウント情報に応じて更新される。待ち行列や事象の発生頻度の分析で重要である。
5.4 多項分布モデルの場合
複数カテゴリへの分類結果を扱う場合、多項分布モデルが適用される。各カテゴリの比率に対する事後分布は、観測度数を反映して形を変える。ベクトルとしての確率を扱う点が特徴である。
6 応用
6.1 統計的推定
事後分布は、母数推定において中心的な役割を果たす。点推定だけでなく、信用区間や最高事後密度区間の算出にも使われる。観測データの不確実性を保ったまま推定できる点が利点である。
6.2 予測分布の導出
未知の将来データを予測する際、事後分布を用いて予測分布を作る。これにより、パラメータの不確実性も含めた予測が可能になる。単なる条件付き平均よりも、現実的な見積もりになりやすい。
6.3 仮説検定との比較
ベイズ的な評価では、仮説を固定的に棄却・採択するより、事後確率やベイズ因子で比較することが多い。これにより、証拠の強さを段階的に捉えられる。頻度論的検定とは判断の枠組みが異なる。
6.4 機械学習への応用
機械学習では、事後分布がモデルパラメータの不確実性推定に使われる。ベイズ回帰、分類、潜在変数モデルなどで重要な役割を担う。過学習の抑制や予測の安定化にも寄与する。
6.5 工学・自然科学での利用
工学では信号処理や制御、自然科学では観測推定やモデル同定に応用される。測定誤差や外乱を含む状況でも、確率的に状態を評価できるためである。複雑な系を扱う場面で、柔軟な表現手段となる。
7 関連概念
7.1 事前分布
事前分布は、データを観測する前の仮定や知識を表す分布である。事後分布の出発点となり、推論結果に影響を与える。
7.2 尤度
尤度は、ある仮定の下でデータがどれだけ起こりやすいかを示す関数である。ベイズ更新では、事前分布と並んで事後分布の構成要素となる。
7.3 事後予測分布
事後予測分布は、観測後の情報をもとに将来のデータを予測する分布である。事後分布を積分して得られ、予測の不確実性を含む。
7.4 周辺分布
周辺分布は、複数変数のうち一部を積分または総和で消去して得られる分布である。事後分布の正規化や部分的な解析で重要になる。
7.5 ベイズ因子
ベイズ因子は、異なる仮説やモデルの相対的な証拠の強さを比較する指標である。事後分布の計算にも関係し、モデル選択に用いられる。
</INTERNAL_LINK_CANDIDATES>