1 定義
ベルヌーイ分布は、結果が二つに限られる試行を記述する離散確率分布である。通常、これらの結果は「成功」と「失敗」と呼ばれ、成功が起こる確率を一つのパラメータで表す。もっとも基本的な確率モデルの一つとして、他の分布や推定法の基盤にもなっている。
1.1 確率変数の取り方
ベルヌーイ分布では、確率変数を0と1で表すことが多い。1を成功、0を失敗に対応させる取り方が標準的であるが、状況に応じて真偽、合否、発生の有無などを意味づけることもできる。
1.2 確率質量関数
確率変数を \(X\) とし、成功確率を \(p\) とすると、\(X=1\) となる確率は \(p\)、\(X=0\) となる確率は \(1-p\) である。確率質量関数は、これら二点にのみ値を持つ簡潔な形をとる。
1.3 パラメータ
この分布のパラメータは成功確率 \(p\) であり、通常は \(0 \le p \le 1\) を満たす。\(p\) が0に近いと成功はまれになり、1に近いと成功がほぼ確実になる。分布の形はこの値だけで完全に定まる。
1.4 記法
記法としては、\(X \sim \mathrm{Bernoulli}(p)\) のように表すのが一般的である。文献によっては \(\mathrm{Be}(p)\) や \(\mathcal{B}(1,p)\) のような表現も見られるが、意味は同じである。
2 基本的な性質
ベルヌーイ分布は単純な構造を持ちながら、平均やばらつき、変換の性質が明確である。そのため、理論的な導出でも実用的な計算でも扱いやすい。
2.1 期待値
期待値は成功確率そのものに等しく、\(E[X]=p\) である。0と1しか取らないため、平均値は「1が現れる割合」を直接示す量として解釈できる。
2.2 分散
分散は \(p(1-p)\) で与えられる。成功が極端に少ない場合や多い場合はばらつきが小さく、\(p=1/2\) のときに最大となる。二値しか持たないため、散らばり方も明快である。
2.3 モーメント
高次モーメントは、0と1の値だけを使って容易に計算できる。一般に、\(X^k=X\) が成り立つので、次数が上がっても構造は複雑化しにくい。
2.3.1 中心モーメント
中心モーメントは平均からのずれを表す。1次の中心モーメントは0であり、2次の中心モーメントは分散に一致する。高次の中心モーメントも \(p\) によって決まり、対称性のある分布ではないことが反映される。
2.3.2 積率母関数
積率母関数は \(M_X(t)=(1-p)+pe^t\) となる。これにより、期待値や分散を導関数から機械的に求めることができる。二値分布の中でも、とくに扱いやすい形である。
2.3.3 特性関数
特性関数は \( \varphi_X(t)=(1-p)+pe^{it} \) で表される。積率母関数と同様に、分布の情報を周波数領域に写像する役割を持つ。確率論の収束定理や和の分布の解析で用いられる。
2.4 歪度と尖度
歪度は \(p\) に依存して正負が変わり、\(p=1/2\) のときは0となる。尖度もまた \(p\) により変化し、二値分布特有の形状を反映する。いずれも、左右対称ではない場合の偏りを数値化する指標である。
3 関連する確率分布
ベルヌーイ分布は多くの分布の基礎にあり、特に試行回数を増やしたときの拡張や、別の離散分布との比較で重要になる。
3.1 二項分布との関係
二項分布は、独立なベルヌーイ試行を複数回行ったときの成功回数の分布である。ベルヌーイ分布はその1回版に相当し、二項分布の最小単位とみなせる。
3.2 指示変数との関係
指示変数は、ある事象が起こったかどうかを0と1で表す確率変数である。事象の指示変数は、その事象の確率をパラメータとするベルヌーイ分布に従う。抽象的な事象を数値化する際の代表的な道具である。
3.3 離散一様分布との比較
離散一様分布は、複数の値が等しい確率で選ばれる点で、二値に限られるベルヌーイ分布と異なる。ベルヌーイ分布では値の種類が二つだけなので、確率の配分はより単純である。両者を比べると、離散分布の基本構造が見えやすい。
3.4 多項分布の特殊例
多項分布は、複数のカテゴリのうちどれが選ばれるかを表す分布である。カテゴリ数が2のとき、多項分布はベルヌーイ分布に一致する。したがって、ベルヌーイ分布は多項分布の最も単純な場合といえる。
4 確率論における位置づけ
ベルヌーイ分布は、独立性、和、収束といった確率論の中核概念を理解するうえで重要である。単純ながら、理論の多くがこの分布を出発点として整理される。
4.1 独立試行との関係
複数のベルヌーイ試行が独立であるとは、ある試行の結果が他の試行に影響しないことを意味する。コイントスや単純な成否判定のモデルで、独立性は基本仮定としてしばしば用いられる。
4.2 成功確率の解釈
成功確率 \(p\) は、長期的に見た成功の相対頻度として解釈されることが多い。ただし、単一の試行では確率は確率であり、結果そのものではない。モデルでは、この値が観測の傾向を要約する。
4.3 和としての表現
ベルヌーイ変数を足し合わせると、成功回数を表す自然なモデルになる。個々の試行は単純でも、和を取ることで全体の挙動が豊かになる。
4.3.1 独立なベルヌーイ変数の和
独立なベルヌーイ変数の和は、各試行で成功した回数を表す。これは複数回の二値観測を集約する最も直接的な方法である。平均や分散も、各項の性質から加法的に求められる。
4.3.2 二項分布への拡張
同じ成功確率を持つ独立試行を \(n\) 回行うと、その成功回数は二項分布に従う。ベルヌーイ分布はこの拡張の基礎として機能し、二項分布の理解に不可欠である。
5 推定と統計的応用
ベルヌーイ分布は、二値データの分析や確率モデルの推定に広く利用される。観測が0か1かの形で得られる場面では、最も自然な出発点となる。
5.1 パラメータ推定
観測された1の割合から、成功確率 \(p\) を推定する。サンプルサイズが大きいほど推定は安定しやすく、単純な平均がそのまま推定量として機能することが多い。
5.1.1 最尤推定
最尤推定では、観測データが最も起こりやすくなる \(p\) を選ぶ。ベルヌーイ分布の場合、最尤推定量は標本平均に一致する。計算が容易で、解釈も明快である。
5.1.2 ベイズ推定
ベイズ推定では、\(p\) に事前分布を与え、観測結果によって更新する。共役事前分布を用いると、事後分布の形が保たれ、解析が簡潔になる。少数データでも不確実性を明示しやすい。
5.2 仮説検定
ベルヌーイ型のデータでは、成功確率がある仮定値と一致するかを検定することが多い。たとえば、公平なコインかどうかを調べる場合、観測された表の回数を手がかりに判断する。二値データに対する基本的な検定法の土台になる。
5.3 二値データの解析
アンケート回答、合格・不合格、感染の有無など、二値データは多くの場面に現れる。ベルヌーイ分布は、これらの観測を最小限の仮定で表す。単純なモデルながら、説明変数を加えると回帰モデルの基礎にもなる。
5.4 機械学習への応用
機械学習では、分類問題のラベルや出力確率のモデル化に用いられる。とくに二値分類では、各ラベルをベルヌーイ分布として扱う見方が有効である。損失関数や確率的予測の設計にも関係する。
6 一般化と拡張
ベルヌーイ分布はそのままでは単純だが、時間や空間に沿った過程へ拡張することで、より広い現象を記述できる。
6.1 連続時間モデルへの拡張
連続時間の枠組みでは、二値的な状態変化を時間変数と結びつけて扱う。個々の瞬間ではベルヌーイ的な発想が残るが、観測の仕方は連続的な記述へ移る。これにより、待ち時間や到達時刻の分析へつながる。
6.2 ベルヌーイ過程
ベルヌーイ過程は、ベルヌーイ試行を時系列に並べたモデルである。各時点で成功か失敗かを記録し、独立同分布を仮定することが多い。反復試行の基本形として、確率過程の入門にも用いられる。
6.3 退化分布との比較
退化分布は、確率が一つの値に集中する分布である。ベルヌーイ分布の \(p=0\) または \(p=1\) の場合は、実質的に退化分布になる。これにより、極端な確率設定との連続性が確認できる。
7 歴史
ベルヌーイ分布の名は、確率論の初期に重要な業績を残したベルヌーイ家に由来する。単純な二値モデルでありながら、確率の理論化に深く関わってきた。
7.1 ヤコブ・ベルヌーイとの関係
ヤコブ・ベルヌーイは、反復試行と確率の法則に関する研究で知られる。ベルヌーイ分布そのものの現代的定式化は後世の数学で整えられたが、その基礎には彼の成果がある。
7.2 確率論の発展における役割
ベルヌーイ分布は、確率論の記述を具体的な試行に結びつける役割を担ってきた。そこから二項分布、推定理論、統計的判定へと話が広がり、現代の数理統計の骨格を形作っている。