1 事前分布の基本
1.1 ベイズ推定における役割
事前分布とは、未知パラメータに対して、観測データを得る前に置く確率分布である。ベイズ推定では、観測されたデータから尤度を計算し、事前分布と組み合わせて事後分布を得る。この枠組みにより、推定対象の不確実性が一貫した確率モデルとして更新される。事前分布は単なる初期値ではなく、推論の全過程で「どの程度そのパラメータがあり得るか」を確率的に表現する要素として機能する。
事前分布が結果に与える影響は、データ量や情報量と相対的な関係にある。観測が十分に多い場合、事後分布は主として尤度に支配される傾向がある一方、データが乏しいときには事前分布の形状がより強く反映されやすい。
1.2 事前・尤度・事後の関係
1.2.1 ベイズの定理と更新則
| ベイズの定理は、事後分布が事前分布と尤度から計算されることを示す。一般に、パラメータを θ、データを x とすると、事後分布 p(θ | x) は次の形で与えられる。 |
|---|
- 事後 ∝ 尤度 × 事前
- 厳密には確率として正規化される
この更新則は「観測によって信念がどのように改訂されるか」を数学的に形式化している。設計の観点では、事前分布は事後の初期条件のように振る舞うが、実際には更新の全計算を通じて連続的に反映される。
1.2.2 正規化定数の意味
正規化定数は、事後分布が確率として総和（総積分）1になるようにするために必要な量である。具体的には、データ x が与えられたときのパラメータの周辺化確率として解釈できる。これにより、事後分布の計算が「相対的な重みの積」を「確率分布としての体裁」に整える作業であることが分かる。
また正規化定数は、モデルの比較や証拠（model evidence）といった概念とも関わる。したがって、単なる計算上の定数ではなく、モデル全体の整合性に関係する指標として理解されることがある。
1.3 事前分布の直観
1.3.1 不確実性の表現としての分布
事前分布は、未知量に関する期待値や分散のような要約統計量だけでなく、値の取り得る範囲とその尤もらしさの分布形状を含む。不確実性の大きさは、分布の幅や裾の振る舞いとして現れる。特に、極端値の頻度がどれほど許容されるかは推論結果に影響しやすく、事前の選択が「どの程度の驚きを許容するか」を決める側面を持つ。
また、分布の非対称性は期待の方向性（過大評価しがち、過小評価しがち等）を反映し得る。平均だけでは捉えにくい性質が、事前分布の形状により表面化する。
1.3.2 予測への寄与の考え方
予測では、パラメータ推定に加えて、その不確実性を織り込む必要がある。ベイズ予測は、事後分布に従ってパラメータを平均化（周辺化）することで得られる。このとき、事前分布は初期の不確実性として予測の広がりに影響する。
データが増えると事後分布が鋭くなり、予測は観測に整合した範囲へと収束する。逆に、観測が少ない状況では事前が予測の分散や裾の厚みに関わりやすい。したがって、予測の設計では「どの程度まで未知を見込むのか」という意思決定が、事前分布の選択に結び付く。
2 事前分布の種類
2.1 無情報事前と弱情報事前
2.1.1 情報量の考え方
無情報事前は、パラメータについての情報をほとんど持たない（あるいは与えない）という考え方に基づく。もっとも、「情報がない」を数学的に厳密化する方法は一つではなく、代表的には一定の無差別性や再パラメータ化に対する振る舞いを手がかりとして構成される。ただし、無情報的に見える設定でも、実際には暗黙の仮定が残りやすい点に注意が要る。
弱情報事前は、ある程度の制約を与えつつ、データが十分にあればその影響が過度に支配しないよう設計された事前である。両者は「情報の強さ」の違いとして整理できるが、測度としての情報量は文脈に依存するため、名称だけで実体を決めるのは難しい。
2.1.1.1 無情報性の定式化（直感と注意点）
無情報性の直感は「どこにも特に偏らない」ことにある。しかし確率モデルでは、取り得るパラメータ空間の形やパラメータ化の選択により、結果が変わり得る。例えば、同じ“広がり”でも別のパラメータ表現では分布の形が変わるため、無偏性の意味が揺れる。
さらに、無情報事前としてしばしば提案される候補が、事後分布の正規化可能性（積分が有限になるか）に問題を起こすこともある。実務では、計算可能性と事後の妥当性を確認した上で、無情報性の主張を慎重に扱う必要がある。
2.2 情報事前（主観的・経験的）
情報事前は、外部知見や経験から得られた期待を反映する。研究分野の既存データ、専門家の評価、過去の実験結果などが根拠となり得る。主観的要素を含む場合、事前がどの程度根拠づけられているか、どのように集約されたかが重要になる。
経験的事前は、データに近い情報を集めて事前を推定する発想である。例えば、別集団からの観測やパイロット実験の結果を事前として流用するなどが該当する。いずれの場合も、適用対象と根拠データの差異（母集団の違い等）を意識して設計することが望ましい。
2.3 共役事前
2.3.1 共役性がもたらす利点
共役事前とは、特定の尤度モデルに対して事後分布が同じ族の分布として保たれるように選ばれた事前である。この性質により、事後分布の計算が解析的に簡単になることが多い。数学的には、正規化を含む更新が閉じた形で表せるため、推定や予測の実装が容易になる。
また、ハイパーパラメータの意味が明確な場合もある。例えば、事前が持つ疑似的な観測量としての解釈ができると、設定の直観的説明が可能になる。一方で、共役性は計算上の利便性に偏ることもあり、現実の不確実性の形を必ずしも適切に表現しない場合があるため、選択には注意が必要である。
2.4 階層化事前とハイパーパラメータ
2.4.1 一段階の階層モデル
階層化事前は、事前分布のパラメータ自体をさらに別の分布でモデル化する枠組みである。典型的には、個体差や集団差を吸収するために、グループごとに異なる効果量を与え、それらの分布を共有する構造にする。一段階の階層では、「個別効果→集団分布→観測」が連鎖して表される。
この設計により、データが少ないグループは集団の傾向へ引き寄せられ、多いグループはその情報に従いやすくなる。これは推定の安定化に寄与する一方、どの程度の“共有”を行うかは上位分布の設定に依存する。
2.4.2 ハイパーパラメータ更新の考え方
ハイパーパラメータは、階層構造における上位側の分布を決める量である。これらを固定すると、下位の推定は上位側の仮定に強く依存する。階層ベイズでは、ハイパーパラメータも未知として推論の対象に含め、事後分布を通じて不確実性を反映させる。
更新の結果として、ハイパーパラメータの分布が狭まればデータによる学習が進んでいることを意味し、広いままであれば学習が限定的であることを示す。従って、ハイパーパラメータの推定は単なる補助計算ではなく、モデルがどれほど情報を獲得できているかを評価する手掛かりにもなる。
3 事前分布の設計
3.1 目的に応じた選択原則
事前分布の設計は、推定・予測・意思決定の目的に合わせて行う必要がある。推定を重視するなら、パラメータの解釈や信頼区間の妥当性が重要になる。予測を主眼とするなら、将来データに対する分布の広がりや裾の厚みが適切かが鍵になる。
また意思決定では、損失関数や許容リスクに整合するように事前を選ぶことが求められる。例えば極端な値を過小評価すると判断が偏る可能性があるため、事前の裾を含む挙動を確認する必要がある。結局のところ、事前は「期待」だけでなく「どんな誤りを起こしやすいか」を形作る要素として扱うのが合理的である。
3.2 望ましい性質（頑健性・整合性）
3.2.1 分布の裾と極端値への影響
事前分布の裾は、極端なパラメータ値をどれだけ許容するかを決める。裾が薄い（急速に減衰する）場合、極端値に対する事後の可能性も抑制される。逆に重い裾を持つと、まれな事象が結果に与える影響が増す。
頑健性の観点では、データが少ないときに裾の仮定が過度に推定を支配しないかを検討する。極端値が現実に起こり得る領域を表しているかどうか、ならびに意思決定上のリスク許容度を踏まえた検討が重要になる。
3.2.2 可識別性と計算安定性
事前がモデルの識別性に関与する場合がある。弱いデータと強い相関構造が存在する状況では、パラメータの分離が困難になり、事後分布が不安定になることがある。適切な事前はこの問題を緩和し、推論を安定化させ得る。
計算面では、事後の形状が極端に鋭い、または重い裾を持つことで数値積分やサンプリングが難しくなる場合がある。従って、数学的妥当性だけでなく計算上の健全性（収束性、推定器の分散、アルゴリズムの挙動）を確認することが実務では不可欠である。
3.3 事前感度分析
3.3.1 事前の変更と推定結果の比較
事前感度分析は、事前分布の仮定を少し変えたときに、推定や予測がどれほど動くかを調べる手法である。ここで重要なのは、単に平均値だけを比較するのではなく、分散や分位点、裾の挙動など意思決定に関連する特徴を確認することにある。
データが十分な場合、結果がほぼ変わらないならば推論は事前に対して頑健と考えられる。逆に、選択によって結論が大きく変化するなら、事前が支配的である可能性があり、根拠の質や追加データの必要性を見直すべきサインになる。
3.3.2 解釈上の報告方法
報告では、事前の選択理由と、感度分析の範囲（どの程度の変更をどのように行ったか）を明確にする必要がある。さらに、結果の変化を統計的にどう要約するか（代表値、信頼領域、確率の変化）を記述することで、読者が判断しやすくなる。
また、感度の程度が意思決定にどのように影響するかを対応づけると、単なる数値比較に留まらない説明になる。事前の仮定が不確実性の一部として扱われていることを示す報告は、ベイズ推論の透明性を高める。
4 計算と実務
4.1 解析的推定（共役事前の活用）
共役事前の利点は、事後分布の形が保持されるため解析的な更新が可能になる点にある。多くの教科書的例では、パラメータの事後が対応する族（ガンマ、正規、ベータなど）として書けるため、推定量（平均、モード、分位点）や予測分布も導出しやすい。
ただし、現実のモデルは複雑で、共役性が成り立たない場合も多い。この場合でも、部分的に共役近似を使う、あるいは局所的な条件付分布を設計して更新式を得るなどの工夫が行われる。解析的手法は高速で理解しやすい一方、モデル化の自由度に制約が出ることがある。
4.2 数値計算（積分・近似）
4.2.1 モンテカルロ法の考え方
事後分布の期待値や周辺化は、一般に積分が解析的に解けないことがある。モンテカルロ法は、サンプルを用いて確率的に積分を近似する考え方である。具体的には、事後分布に従う乱数を生成し、その平均で期待値を推定する。
モンテカルロ推定には誤差（標本誤差）が伴うため、収束の評価やサンプル数の調整が重要になる。さらに、分布が多峰的である場合にはサンプリングが偏りやすく、アルゴリズム選択や初期化が結果の質に影響することがある。
4.2.2 近似推論の概観
近似推論には、サンプリング以外の手法も含まれる。例えば、変分推論は、事後分布を近い別分布で置き換え、最適化によって近似を構成する。別の系としては、ラプラス近似など、局所的な二次近似で積分を扱う手法もある。
これらは計算を現実的にする一方、近似誤差の性格が問題になる。分布の非正規性や尾の厚みが十分に表現されないことがあり得るため、精度の検証（サンプリングとの比較、診断指標の確認）が実務では欠かせない。
4.3 実務での可視化・報告
4.3.1 事前分布の図示と説明
事前分布は、形状を示す図が理解を助ける。密度曲線、累積分布、あるいはハイパーパラメータを変えた場合の比較図などが用いられることがある。図示では、平均や分散だけでなく、裾や非対称性が視覚的に分かるように工夫するのが有用である。
説明では、事前の根拠（既存知見、制約、過去データ、無情報的方針など）と、採用した理由（計算上の都合も含めて）を簡潔に述べることが期待される。読者は事前が結論に影響し得る場所を、事前の形から推測できる状態になるべきである。
4.3.2 予測分布と意思決定の統合
実務では、事後から得られる予測分布を意思決定に結び付ける必要がある。予測分布の分位点や確率が、判断の閾値（たとえば目標達成確率、許容損失の条件）とどう対応するかを明示することで、推論が行動につながる。
意思決定の統合では、単一の推定値ではなく分布全体を用いることでリスク評価が可能になる。さらに、事前感度分析の結果を意思決定に影響する形で整理すると、頑健性のある判断がしやすくなる。最終的に、ベイズ推論の価値は「不確実性を伴ったまま、合理的な判断を下す」点に現れる。