1 確率モデルの概要
1.1 定義と目的
確率モデルは、ランダム性を含む現象を、確率変数と確率分布、ならびにそれらの関係として数理的に表す枠組みである。観測される結果の起こりやすさを確率（または尤度）として扱い、不確実性を定量化する点に特徴がある。さらに、限られたデータから未知の量を推定し、将来の事象について確率的な予測を行い、意思決定のための根拠を与えることを目的とする。
モデル化の中心は「仮定の明確化」と「データへの適合」である。現象をどう表現するか（どの変数を選び、どの分布を割り当て、どんな依存構造を用いるか）を決めることで、検証可能な予測と解釈可能な不確実性の推定が可能になる。
1.2 構成要素
確率モデルは、事象の表し方、変数間の結びつき、時間変化の扱いといった要素から組み立てられる。これらは独立に設計されることもあるが、整合性（確率として矛盾がないか）と、推定手続きが現実的に実行できるか（計算可能性）も同時に満たす必要がある。
1.2.1 確率変数と標本空間
標本空間は、観測されうる結果全体の集合として定義される。確率変数は、その集合の各結果を数値やベクトルへ写像する量であり、確率分布は確率変数が取りうる値の分散や偏りなどの性質を規定する。実務上は、入力データ（説明変数）と出力（観測対象）をそれぞれ確率変数として位置づけ、どこまでが観測され、どこからが不確かであるかを区別することが重要になる。
1.2.2 確率分布とパラメータ
確率分布は、確率変数の値に対して確率（連続では密度）を割り当てる仕組みである。多くの分布にはパラメータがあり、平均や分散、形状などの性質を調整する。学習では、データに合わせてパラメータを推定することで、観測の背後にある生成過程の特徴を取り出す。
分布の選択は、性能だけでなく解釈にも影響する。たとえば分布形状が異なると、裾の厚さ（極端な値の起こりやすさ）や分散の意味が変わるため、予測の振る舞いが大きく変化する。
1.2.3 依存関係と構造
複数の確率変数の間には依存が存在しうる。独立性を仮定することで計算は単純になるが、現実のデータでは共変動や相関、条件付きの関係が起こりやすい。依存構造は、結合分布や条件付き分布を通じて表現され、たとえば回帰モデルでは「目的変数が説明変数に条件づけてどう分布するか」が中心となる。
また、因果の厳密な保証を常に提供するわけではないが、構造化の工夫により解釈性と予測の安定性が改善する場合がある。重要なのは、依存の表し方が過度に複雑になると過学習が起きやすい点であり、適合と一般化のバランスが求められる。
1.3 代表的な利用場面
確率モデルの利用は多岐にわたる。統計学では推定と検定、機械学習では予測と意思決定、信号処理ではノイズを含む観測の復元、信頼性工学では故障率や寿命分布の見積もりに使われる。医療では検査値の不確実性や欠測を扱う枠組みとして用いられることがある。
また、確率的最適化や意思決定理論では、期待効用やリスクを最小化する方針を組み立てるための基盤として位置づけられる。要するに「不確実性が不可避である領域」で、観測と予測を同じ確率的言語で結びつけるために用いられる。
2 モデルの種類
2.1 離散モデル
離散モデルは、確率変数が有限個または可算無限個の値を取る状況を扱う。分類の出力、カウントデータ、成功回数などは典型例であり、分布の形が現れやすいのは確率の塊（確率質量）が作られるためである。学習では対数尤度や尤度に基づく最適化がよく用いられる。
2.1.1 ベルヌーイ分布
ベルヌーイ分布は、二値の結果（成功・失敗）を記述する。成功の確率を \(p\) とすると、観測が成功である確率は \(p\)、失敗である確率は \(1-p\) となる。コイントスや正誤判定、オン・オフ状態の表現に適している。
分散は \(p(1-p)\) で決まり、極端に \(p\) が 0 または 1 に近づくと不確実性が小さくなる。推定では、観測された成功回数に対して最も整合する確率として \(p\) を求める処理が簡潔になることが多い。
2.1.2 二項分布
二項分布は、同一確率 \(p\) の試行を \(n\) 回行い、その成功回数を扱う。成功回数 \(k\) が起こる確率は \(\binom{n}{k} p^k(1-p)^{n-k}\) で与えられる。イベントが独立で、各試行の成功確率が一定とみなせる場面で利用される。
カウントの分散が \(np(1-p)\) で決まるため、試行回数の増加とともに変動幅が増える。設計段階では観測の粒度（何を1試行とするか）を明確にしてから適用するのが望ましい。
2.1.3 カテゴリ分布
カテゴリ分布は、複数のカテゴリのうちどれに属するかを扱う離散分布である。カテゴリ数を \(K\) とし、各カテゴリ \(1,\dots,K\) への割当確率を \(p_1,\dots,p_K\) とすると、カテゴリ \(i\) が出る確率は \(p_i\) となる。多クラス分類におけるラベル分布の基礎として用いられる。
対数尤度により学習が行いやすく、特にソフトマックス出力と組み合わせると、確率的なクラス解釈と整合する。確率の和が 1 になるようパラメータ化することが重要である。
2.2 連続モデル
連続モデルは、確率変数が実数などの連続値を取り得る場合を扱う。密度関数により確率を表し、区間の幅に比例する形で確率が変化する。センサ値、測定誤差、潜在量など、分解能が高い観測を扱うときに適用されることが多い。
2.2.1 正規分布
正規分布は、最も広く用いられる連続分布である。平均 \(\mu\)、分散 \(\sigma^2\) により決まり、密度は \(\exp\) を用いた滑らかな形状になる。観測誤差が多数の小さな要因の合成として近似されるときに現れやすい。
推定では平均と分散の役割が明確で、最尤推定は計算が比較的容易である。さらに正規分布を前提にした線形モデルは多くの手計算・解析が可能で、理論面でも基盤になっている。
2.2.2 ガンマ分布
ガンマ分布は、正の実数に定義される分布であり、形状と尺度（またはレート）でパラメータ化される。待ち時間、加算的な変動、寿命や分布の裾の挙動を表す際に使われることがある。特にレートが一定でないような積分的な構造を仮定する場合に適する。
モーメントや推定手続きが扱いやすく、指数分布の一般化として理解されることも多い。観測値が負を取り得ない領域に当てはめることで、分布の整合性を保ちやすい。
2.2.3 指数分布
指数分布は、正の値を取る時間間隔のモデルとして知られる。単位時間あたりの発生率が一定という仮定の下で、待ち時間の分布が指数分布になる。故障や到着の間隔、イベント発生の時間差などを表す枠組みで使われる。
指数分布は、メモリレス（過去に依存しない）性質を持つ点が特徴である。これは「その時点から見た残りの待ち時間が、過去の経過に依らない」という解釈につながり、モデルの単純さと適用条件の明確さを同時に与える。
2.3 混合モデル
混合モデルは、複数の分布を重み付きで組み合わせることで、単一分布では表しにくい多峰性や異質性を表現する。重みは確率として解釈でき、データが複数の生成過程から来ている可能性を仮定する考え方と整合する。
ただしモデルが複雑になるため、推定はより慎重さを要する。特に過度に多い成分を許すと、データの少なさに対して不安定になることがある。
2.3.1 混合正規分布
混合正規分布は、正規分布の集合を重み付きで合成したモデルである。分布の成分数を適切に選ぶことで、ヒストグラムが複数の山を持つようなデータを近似できる。クラスタリングでは、成分への割当を潜在変数として解釈することでグループ構造を取り出せることがある。
成分の平均や分散、混合比がパラメータとして推定され、データの生成過程が複数の集団に分かれている可能性を扱える。成分が重なると識別性の問題が生じ得るため、初期値や正則化の設計が重要になる。
2.3.2 潜在変数による表現
混合モデルを潜在変数の概念で書き直すと、計算が整理される。たとえば各観測がどの成分から生成されたかを表す割当変数を導入し、観測された値だけでは割当が見えない状態を許す。すると、周辺化によって観測の確率分布が元の混合分布になる。
この書き方は、期待値計算とパラメータ更新を交互に行う手続き（一般にEM型）と相性が良い。潜在変数の導入により、「どこが観測され、どこが推定対象か」を構造として明確化できる点が利点である。
2.4 回帰・予測モデル
回帰・予測モデルは、入力（説明変数）から出力（目的変数）を確率的に予測する枠組みである。中心となるのは条件付き分布 \(p(y\mid x)\) の形であり、誤差の分布やリンク関数を通じて確率出力が定義される。
2.4.1 線形回帰と確率的誤差
線形回帰では、目的変数を入力の線形結合として表し、観測には確率的な誤差を含める。誤差項の分布を仮定することで、条件付き分布の形が定まり、推定や予測における不確実性の見積もりが可能になる。特に誤差を正規分布とみなすと、解析的な解や信頼区間の設計がしやすい。
一般には、誤差の分散が一定であるという仮定（ホモスケダスティシティ）が成り立たない場合もある。そのときは分散を条件付きで変える設計や、ロバストな損失の採用が検討される。
2.4.2 ロジスティック回帰（確率出力）
ロジスティック回帰は、二値の目的変数を確率として出力するための代表的な手法である。線形のスコアをロジット変換し、シグモイド関数を通じて成功確率を得る。これにより、分類境界だけでなく確率の度合いが自然に表現される。
損失としてはベルヌーイ分布に基づく対数損失（交差エントロピー）が用いられることが多い。学習は確率の整合性を保ちながらパラメータを更新する形になり、確率的な解釈を維持しやすい。
2.4.3 決定木系の確率的拡張
決定木は分割規則により予測を行うが、確率的な拡張では各葉に分布を持たせることで不確実性を表せる。分類では葉の中のクラス頻度を確率として解釈したり、回帰では平均とばらつきを統計的に扱う。アンサンブル化（複数木の集約）により分散低減を狙う手法も多い。
ただし確率校正（出力確率が実際の頻度にどれほど合っているか）は別途評価が必要になる場合がある。したがって精度だけでなく、校正の良さや頑健性も指標に含めることが望ましい。
3 推定と学習
3.1 推定の基本
確率モデルの推定は、データから未知のパラメータ（または分布の形）を推し量る過程である。主な考え方として、尤度に基づく推定（頻度論的）と、事前知識を組み込む推定（ベイズ的）がある。どの立場を採るかで、得られる解の性質や不確実性の表し方が変わる。
3.1.1 最尤推定
最尤推定は、観測されたデータが最も起こりやすくなるパラメータを選ぶ方法である。モデルが与えられたときのデータの確率（尤度）を最大化するため、計算が簡便な場合には解析解が得られることもある。一般には数値最適化で求める。
最尤推定は、データが十分に多い状況で真のパラメータ付近に集中しやすい性質を持つ一方、小標本では過度に極端な推定になることがある。そこで正則化や事前分布の導入が役立つ場合がある。
3.1.2 ベイズ推定
ベイズ推定は、事前分布と尤度から事後分布を計算する考え方である。事前分布は未知量についての妥当な範囲や確率的な好みを表し、データにより更新されて事後分布になる。点推定だけでなく、パラメータの不確実性を分布として表現できる点が特徴である。
実務では、事後分布からの周辺化や予測分布の計算が難しいことがあるため、近似手法を用いることが多い。計算量と推定品質の両面で設計が必要になる。
3.1.3 MAP推定
MAP推定（最大事後確率推定）は、事後分布を最大化するパラメータを選ぶ手法である。ベイズ推定に含まれるが、事後分布全体を保持するのではなく、点推定として扱う。事前分布が正則化の役割も担うため、最尤推定より安定する場合がある。
MAPは計算上、最尤推定の最適化に近い形で実行できることが多い。したがってベイズ的な思想を取り入れつつ、実装負荷を抑えたいときに選ばれることがある。
3.2 検証と評価
推定後には、モデルがデータをどの程度説明し予測できるかを評価する必要がある。ここでは汎化性能を測るための検証手順、尤度に基づく量、損失関数と精度指標の考え方を扱う。
3.2.1 学習・検証・テストの分割
データは通常、学習、検証、テストの用途に分ける。学習集合でパラメータを決め、検証集合でモデル選択（成分数、正則化強度、木の深さなど）を行い、テスト集合で最終的な汎化性能を測る。分割を適切に行うほど、過学習の影響を抑えて評価の信頼性が上がる。
時系列など並びを持つデータでは、ランダム分割が妥当でない場合があるため、順序を尊重した分割が選ばれることが多い。
3.2.2 尤度・対数尤度
尤度は、観測データがパラメータの下でどれだけ起こりやすいかを表す量である。連続値のモデルでは密度の積として定義されるため、小さい値が多数掛け合わさると数値的に不安定になりやすい。そこで対数尤度を用いることが多く、掛け算が足し算になり計算が安定する。
対数尤度最大化は、しばしば損失最小化と同値になる形で最適化に組み込まれる。評価にも利用できるが、モデル比較では比較対象が同一条件であるか（正則化、自由度など）を意識する必要がある。
3.2.3 損失関数と精度指標
損失関数は、予測と真値のズレを数値化し最小化の対象とする。分類では対数損失、回帰では二乗誤差や絶対誤差などがよく用いられる。精度指標は、損失とは別に成功率、適合率・再現率、平均誤差などの形で性能を測る。
どの指標を採るかは目的に依存する。たとえば不均衡データでは単純な正解率が誤解を招きやすく、クラスごとの評価や閾値依存の指標を併用する方が望ましい。
3.3 最適化手法
学習では、損失や対数尤度を最小化または最大化するための最適化が必要になる。高次元のパラメータや複雑なモデルでは、解析的解が得られず反復手続きが中心になる。
3.3.1 勾配法と学習率
勾配法は、目的関数の勾配に基づいてパラメータを更新する手法である。基本形では、負の勾配方向へ更新することで値を下げることを狙う。学習率は更新量の大きさを決め、過大だと発散し、過小だと停滞しやすい。
実務では確率的勾配法（ミニバッチ）を用いることが多く、ノイズを含んだ更新で探索を行う。学習率のスケジュール（減衰やウォームアップ）も結果に影響するため、検証集合で調整されることが多い。
3.3.2 EMアルゴリズム
EMアルゴリズムは、潜在変数がある場合に対して尤度（またはその下限）を段階的に最大化する枠組みである。Eステップでは潜在変数の期待値を計算し、Mステップではその期待値の下でパラメータを更新する。混合モデルや隠れ状態モデルで有効になることが多い。
収束は単調増加を保証する形で進むことが多いが、局所解に留まる可能性は残る。初期値の選び方が性能に影響するため、実装では複数回試行や初期化の工夫が行われることがある。
3.3.3 MCMCによる近似
MCMC（マルコフ連鎖モンテカルロ）は、ベイズ推定で生じる事後分布からのサンプリングを近似的に行う方法である。生成したサンプルから期待値や予測分布を推定できる。直接積分が困難なときに用いられるのが一般的である。
ただしサンプルの相関や収束判定が課題になる。十分なバーンインや独立性の評価、計算時間の見積もりが重要であり、近似の質が結果に直結するため、診断指標の利用が望まれる。
4 時系列・状態空間のモデル
4.1 隠れ状態のあるモデル
隠れ状態モデルは、直接観測できない状態が時刻ごとに変化し、その状態に応じて観測が生成されると仮定する枠組みである。観測列の背後にあるダイナミクスを推定し、将来の状態や観測の不確実性を扱える点が利点である。
4.1.1 隠れマルコフモデル
隠れマルコフモデルは、隠れ状態がマルコフ性（次状態が現在状態にのみ依存）を持つと仮定するモデルである。状態は離散的に表され、観測は状態に条件づけて生成される。状態列と観測列の同時確率が定式化できるため、学習と推定の両方に理論的手続きがある程度整っている。
典型的な課題は、観測列から状態系列を推定すること（デコーディング）や、パラメータをデータから学習することである。状態の数が増えると計算が増大するため、設計時にトレードオフを考慮する必要がある。
4.1.2 状態推定の考え方
状態推定は、観測が得られるたびに「現在の状態がどの程度ありそうか」を更新する作業として捉えられる。観測が部分的でノイズがあるとき、推定は確率分布として表現されることが多い。これにより、点推定だけでは見落とす不確実性を含めた判断が可能になる。
状態推定の中心は、事後分布の計算または近似である。時系列では逐次更新が求められるため、計算効率の高い推定アルゴリズムを選ぶことが重要になる。
4.2 状態空間モデル
状態空間モデルは、状態の遷移と観測の生成をそれぞれ確率的に表す枠組みである。一般に状態は連続値でもよく、観測との対応も柔軟に設計できる。線形・非線形、ガウス性の有無によって扱いが変わる。
4.2.1 カルマンフィルタ
カルマンフィルタは、線形の状態遷移と観測、かつノイズが正規分布である場合に、状態推定を効率よく行う手法として知られる。時刻ごとの予測と、観測が得られた後の更新を繰り返すことで、計算量を抑えつつ平均と分散の形で状態の不確実性を追跡する。
入力の解釈やモデル化が適切であれば、リアルタイム推定に向いた挙動が得られる。一方、前提が破れると精度が下がるため、非線形性や外れ値への配慮が必要になることがある。
4.2.2 拡張カルマンフィルタ
拡張カルマンフィルタは、非線形な遷移や観測を扱うために、モデルを局所的に線形化してカルマンフィルタの形を適用する近似手法である。線形化の精度は状態の振る舞いと近似領域に依存し、強い非線形性では誤差が増える可能性がある。
実装では線形化点（現在推定値）の選択が影響しやすいため、初期化や更新の安定化が重要になる。近似であることを踏まえ、必要に応じて他の手法も比較検討する。
4.3 予測と平滑化
時系列モデルでは、推定した状態を用いて将来の観測を予測し、さらに全期間の情報を使って過去の状態を精密化する平滑化が行える。これらはリアルタイム性と精度のバランスに直結する。
4.3.1 フィルタリング
フィルタリングは、時刻 \(t\) までの観測を用いて状態を推定することを指す。逐次更新のため、オンライン処理に適している。現在の予測に対する確率分布を得ることで、意思決定や制御の入力として利用しやすい。
過去の情報が後から追加されないという制約があるため、平滑化に比べると推定誤差が増える傾向がある。とはいえ計算と遅延の制約から実運用では重要な位置づけになる。
4.3.2 平滑化
平滑化は、観測期間全体（または後続を含む範囲）の情報を利用して、過去時点の状態を推定し直す手法である。未来の観測が過去の推定に反映されるため、不確実性が減少しやすい。オフライン解析や遅延が許される環境で有効である。
平滑化の導入により、状態系列の整合性が改善し、パラメータ推定にも恩恵が出る場合がある。計算は一般にフィルタリングより重くなるため、用途に応じた選択が必要になる。
4.3.3 予測分布
予測分布は、将来時刻の観測（または状態）について確率的に表したものである。現在までに得られた推定分布を基にして、遷移を介した周辺化を行うことで得られる。予測点だけでなく分散や信頼区間の形で不確実性を含めて提示できる点が利点である。
予測分布の形はモデルの性質（線形性、分布仮定）に依存し、厳密に閉じた式が得られないときには近似が用いられる。評価では、予測分布の校正や外れ値への頑健性も合わせて検討するのが望ましい。