1 基本概念
ベイズ推定は、未知の量についての不確実性を確率で表し、観測結果に応じてその確率分布を更新する考え方である。単一の値を直接求めるだけでなく、どの程度の幅で信念が分布しているかを記述できる点に特色がある。統計学では、事前に持っている知識と新しいデータを統合する枠組みとして扱われる。
1.1 確率と不確実性
ベイズ統計では、確率は長期的な頻度だけでなく、ある命題や未知量に対する不確かさの度合いも表す。これにより、観測前の見込みと観測後の理解を同じ数学的形式で記述できる。推定対象が固定された真値であっても、観測者の知識状態は確率分布として表現される。
1.2 事前分布
事前分布は、データを得る前に対象について持っている情報を表す分布である。過去の研究結果、専門知識、あるいは理論的制約を反映させるために用いられる。情報が乏しい場合には、広い範囲に分散した分布を採ることもある。
1.3 尤度
尤度は、あるパラメータや仮説が与えられたときに、観測データがどれだけ起こりやすいかを示す関数である。確率分布と同じ数式形をとることが多いが、焦点はデータ側に置かれる。これにより、仮定と観測の整合性を評価できる。
1.4 事後分布
事後分布は、事前分布と尤度を組み合わせて得られる更新後の分布である。観測を経ることで、未知量に関する信念はより具体的になり、推定や予測に直接利用できる。ベイズ推定の中心概念であり、不確実性を残したまま結論を導く。
1.5 周辺尤度
周辺尤度は、モデル全体の妥当性を表す量で、パラメータを積分または総和で消去して得られる。モデル比較や仮説選択で重要な役割を果たす。単なる当てはまりだけでなく、複雑さも含めて評価する指標として使われる。
2 ベイズの定理
ベイズの定理は、事前情報と観測情報を結びつける基本式である。確率の条件付けを入れ替えることで、未知量に関する評価を更新後の分布として表現できる。統計推論だけでなく、機械学習や意思決定でも中核的に用いられる。
2.1 定理の表現
ベイズの定理は、事後分布が事前分布と尤度の積に比例することを示す。観測データが与えられると、各仮説の重みがその整合性に応じて再配分される。数式上は単純でも、応用範囲は広い。
2.2 事前確率と事後確率の関係
事前確率は更新前の見込み、事後確率は更新後の見込みを表す。新しいデータが強い証拠を与えると、事後分布は事前分布から大きく移動する。逆に、観測が弱い場合には事前の影響が比較的残る。
2.3 正規化定数
正規化定数は、比例式で得られた分布を確率分布として成立させるための係数である。事後分布の総和や積分を1に調整する役割を持つ。モデル比較では、この定数自体が重要な情報になることがある。
2.4 連続型の場合と離散型の場合
離散型では確率質量関数を用い、連続型では確率密度関数を用いる。基本原理は同じだが、積分と総和の使い分けが必要になる。実務では、観測量とパラメータの性質に応じて適切な形式が選ばれる。
3 推定の枠組み
ベイズ推定では、パラメータを一点で固定するよりも、分布として扱うことが多い。これにより、推定値のばらつきや不確実性を自然に記述できる。仮説検定、予測、モデル選択も同じ枠組みの中で連続的に扱える。
3.1 パラメータ推定
パラメータ推定では、観測データに基づいて未知の係数や特性を推し量る。事後分布を用いることで、値の候補ごとの支持の強さが明確になる。単一の最良値だけでなく、分布全体が情報として重視される。
3.1.1 点推定
点推定は、事後分布から代表値を1つ選ぶ方法である。平均、中央値、最頻値などがよく使われる。選び方は損失関数や目的に依存する。
3.1.2 区間推定
区間推定では、パラメータが一定の確からしさで含まれる範囲を示す。ベイズ統計では信用区間が用いられ、分布に基づいて解釈される。これは、頻度主義の信頼区間とは意味が異なる。
3.2 仮説検定との関係
ベイズ的な仮説評価では、仮説の確率そのものや、仮説間の相対的な支持を扱う。これに対し、古典的な検定は帰無仮説の棄却を中心に据える。両者は似た場面で使われるが、解釈の枠組みが異なる。
3.3 予測分布
予測分布は、未知の将来データについての分布である。パラメータの不確実性を積分して反映するため、単なる最尤予測よりも幅のある見通しを与える。実際の応用では、予測の精度評価に直結する。
3.4 モデル比較
モデル比較では、複数の仮説や構造の中から、データにより適したものを選ぶ。事後確率やベイズ因子が使われ、適合度と複雑さの両方を考慮できる。過剰適合を抑える観点からも重要である。
4 計算手法
ベイズ推定は理論的には明快だが、実際の計算は容易でないことが多い。特に高次元モデルでは、事後分布の積分が解析的に解けないため、近似や数値計算が必要になる。計算技術の発展が普及を大きく後押しした。
4.1 解析解が得られる場合
共役事前分布を用いると、事後分布が同じ族に属し、式を閉じた形で求められることがある。単純なモデルでは計算が速く、解釈もしやすい。教育用や基礎的な分析で特に有用である。
4.2 数値計算による近似
複雑なモデルでは、サンプリングや最適化を通じて近似を行う。近似精度と計算負荷の釣り合いが重要になる。用途に応じて、汎用性の高い方法か高速な方法かを選択する。
4.2.1 マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法は、事後分布からの標本を生成して性質を調べる方法である。理論的に柔軟で、複雑な分布にも対応しやすい。一方で、収束診断や計算時間に注意が必要である。
4.2.2 変分推論
変分推論は、扱いやすい分布族で事後分布を近似する手法である。サンプリング法より高速なことが多く、大規模データに向く。近似の自由度と精度の間に折り合いをつける点が特徴である。
4.2.3 ラプラス近似
ラプラス近似は、事後分布の山の周辺を正規分布で近似する方法である。局所的な形状を簡潔に表せるため、計算は比較的容易である。分布が強く非対称な場合には精度が下がることがある。
4.3 計算上の課題
主要な課題には、高次元化、収束判定、数値不安定性、モデルの識別可能性などがある。データ量が増えると、計算資源の制約も無視できない。近似の誤差評価も重要な論点である。
4.4 大規模データへの対応
大規模データでは、ミニバッチ処理や逐次更新、分散計算が用いられる。全データを一度に扱う代わりに、部分集合を使って効率化する。近年は機械学習の発展とともに、実用的な手法が整備された。
5 代表的なモデル
ベイズ統計には、解析しやすく、教育的にも理解しやすい基本モデルがいくつかある。これらはより複雑なモデルの基礎としても機能する。簡潔な構造であっても、更新の考え方を明瞭に示す。
5.1 ベータ二項モデル
ベータ二項モデルは、二項分布の成功確率にベータ分布を事前分布として置くモデルである。成功回数の推定に適しており、共役性により計算が容易である。試行回数と成功率の関係を直感的に示す例としてよく用いられる。
5.2 正規正規モデル
正規正規モデルは、観測値が正規分布に従い、平均などの未知量にも正規分布を事前に置く設定である。解析的に扱いやすく、連続量の基本例として重要である。測定誤差を伴う推定に応用されることが多い。
5.3 ベイズ回帰
ベイズ回帰は、回帰係数に事前分布を与えて推定する方法である。係数の不確実性を明示しながら、予測も同時に行える。過学習の抑制や、説明変数が多い状況での安定化にも役立つ。
5.4 階層ベイズモデル
階層ベイズモデルは、個体レベルと集団レベルなど、複数の層でパラメータを共有する。似た集団から情報を借りることで、少ないデータでも推定が安定しやすい。教育、医療、社会調査などで広く用いられる。
5.5 潜在変数モデル
潜在変数モデルは、直接観測できない要因を導入してデータ構造を説明する。クラスタリングや因子分析などと関係が深い。見えない構成要素を仮定することで、複雑な現象を整理しやすくなる。
6 応用分野
ベイズ推定は、観測が不完全であっても判断を下す必要がある場面で特に有効である。分野ごとに目的は異なるが、不確実性を含めて扱える利点は共通している。推定、予測、意思決定を一体的に処理できる点が評価される。
6.1 医学と生物統計
医学では、治療効果や診断精度の推定に用いられる。少数例や欠測を含む状況でも、既存知識を反映しながら解析できる。臨床試験や疫学研究で重要な役割を果たす。
6.2 工学と品質管理
工学分野では、故障率推定、異常検知、工程管理に利用される。限られた試験データから製品の信頼性を評価する際に有用である。品質管理では、継続的な更新がしやすい点も利点となる。
6.3 機械学習
機械学習では、モデルの不確実性推定、過学習の抑制、生成モデルの学習などに使われる。予測値だけでなく、その信頼度を示せるのが強みである。深層学習と組み合わせる研究も進んでいる。
6.4 自然科学における推定
物理学、天文学、地球科学などでは、観測誤差を含むデータから未知量を推定するのに適している。理論モデルと測定結果を結びつける橋渡しとして機能する。複数仮説の比較にも向く。
6.5 経済学と社会科学
経済学や社会科学では、行動のばらつきや観測の不完全さを扱うために利用される。政策評価や需要予測、世論分析などに応用されることがある。データと先行知識を統合しやすい点が重視される。
7 理論的性質
ベイズ推定の理論は、データが増えるにつれて推定がどのように変化するかを扱う。十分な条件の下では、真の値に近づく性質や、事後分布が集中的になる性質が示される。これらは推定法の信頼性を支える基盤である。
7.1 一致性
一致性とは、標本サイズが増えると推定結果が真の値に近づく性質である。適切な条件のもとで、事後分布は正しいパラメータの周辺に集中する。ベイズ推定が漸近的に妥当であることを示す重要な概念である。
7.2 収束
収束は、更新を重ねるにつれて分布や推定量が安定することを指す。事後分布の形が観測数の増加とともに定まっていく。理論上の収束と計算上の収束は区別して考える必要がある。
7.3 収縮率
収縮率は、事後分布がどの速度で真の値の近くへ狭まるかを表す。モデルの滑らかさやデータの情報量によって変化する。高次元問題では、この速度が性能評価の鍵になる。
7.4 決定理論との関係
ベイズ統計は、損失関数と期待損失の最小化を通じて決定理論と結びつく。どの推定値を採るかは、分布そのものだけでなく、誤差の重み付けにも依存する。意思決定の合理性を数学的に扱える点が特徴である。
8 頻度主義との比較
ベイズ推定は、頻度主義統計としばしば対比される。両者は同じデータを扱っても、確率の意味づけや推論の流れが異なる。現実には、目的に応じて両方が併用されることも多い。
8.1 推定思想の違い
頻度主義では、確率は反復実験における出現頻度として理解されることが多い。これに対し、ベイズでは未知量に対する信念の度合いとして扱う。推定の哲学が異なるため、同じ数式でも解釈が変わる。
8.2 長所と短所
ベイズ推定の長所は、不確実性を直接表せることと、先行知識を組み込めることである。短所としては、事前分布の選択や計算負荷が問題になる。頻度主義は手続きの標準化に優れる一方、柔軟な不確実性表現では制約がある。
8.3 解釈の違い
信用区間は、与えられたデータの下でパラメータがその範囲にある確率と解釈できる。これに対して、信頼区間は長期的な手続きの性質を述べる。両者は数値的に近く見えても、意味内容は同一ではない。
8.4 実務上の使い分け
実務では、データ量、計算資源、説明責任、先行知識の有無などを踏まえて選択される。探索的分析や少数データではベイズ法が有利な場合がある。大規模で標準化された検定では頻度主義が選ばれることも多い。
9 歴史
ベイズ統計の発展は、単一の人物による完成ではなく、複数の時代の研究が積み重なって形成された。初期には哲学的議論として扱われ、後に数理統計として整備された。計算技術の進歩が実用化を大きく加速させた。
9.1 トマス・ベイズ
トマス・ベイズは、条件付き確率に関する考え方の基礎に関与した18世紀の人物である。彼の名を冠した定理は、後の統計学に大きな影響を与えた。本人の研究は限定的だったが、後世への波及は非常に大きい。
9.2 早期の発展
18世紀から19世紀にかけて、ベイズ的発想は天文学や測量などで徐々に用いられた。のちにラプラスらによって理論が体系化され、確率論の一部として位置づけられた。初期段階では、計算可能性が主な制約だった。
9.3 現代ベイズ統計の発展
20世紀後半になると、意思決定理論、計算統計、情報理論との結びつきが強まり、現代的な枠組みが形成された。事前分布の設計やモデル選択の考え方も洗練された。理論と応用の両面で再評価が進んだ。
9.4 計算機の発展と普及
計算機の性能向上により、以前は扱いにくかった複雑な事後分布が実用的に解析できるようになった。モンテカルロ法や自動微分の普及も、応用範囲の拡大を支えた。今日では、多くの解析ソフトウェアにベイズ的手法が組み込まれている。