1 ベイズニューラルネットワークの基本
1.1 定義と目的
1.1.1 重みの確率モデル化
ベイズニューラルネットワークは、ニューラルネットワークの重みを未知パラメータではなく確率変数として扱う枠組みである。通常の学習では重みを一点に定めるため、モデルはその重みのもとでの出力のみを与える。一方ベイズ的では、重みに対する確率分布（重みの事後分布）が学習後に得られ、出力もその分布から導かれる。これにより、同じ入力に対しても重みのばらつきに起因する出力の揺らぎが明示的に表現される。
1.1.2 不確実性の表現（予測・推定）
ベイズニューラルネットワークの中心的な利点は、不確実性をモデル化して予測に反映できる点にある。不確実性は複数の要素に分けられる。例えば、モデルの知識不足に由来する不確実性（認識論的）と、観測や入力に含まれるばらつき（データに内在する不確実性、観測ノイズなど）である。推論時には予測分布を用いることで、点推定では得られない信頼度の情報（分散、信頼区間、分位点など）を計算できる。
1.2 ベイズ推論の枠組み
1.2.1 結合分布・尤度
ベイズ推論では、重みとデータの関係を結合分布として記述する。重みを \(w\)、観測データを \(D\) とすると、通常は「尤度（重みのもとでデータが出る確率）」と「事前（重みの事前確率）」の積で結合分布を表す。尤度は、回帰なら連続値誤差の分布、分類ならクラス確率に基づく分布として設計される。ニューラルネットの出力は多くの場合、パラメータ化された確率分布の母数として解釈される。
1.2.2 事後分布とベイズの定理
学習の目標は、観測データを見た後の重みの分布、すなわち事後分布を求めることである。ベイズの定理により、事後分布は尤度と事前を用いて更新される。式としては、事後は「事前×尤度」を正規化したものとして定義される。正規化項は証拠（モデルエビデンス）に相当し、正確に計算できない場合が多い。そのため実務では近似推論が重要になる。
1.3 学習と推論の関係
1.3.1 学習：事後分布推定
学習段階では、事後分布 \(p(w\mid D)\) を（厳密または近似的に）構築する。厳密計算は一般に高次元積分を要し困難であるため、変分推論やサンプリング、あるいは近似ベイズ法が用いられる。得られた近似は「モデルの重みがどの程度の範囲にあり得るか」を反映するものとなり、以後の予測に直接影響する。
1.3.2 推論：予測分布の計算
推論では、入力 \(x\) に対する出力 \(y\) の予測分布を、事後分布で積分して求める。点推定では重みを単一値として扱うが、ベイズでは重みの不確実性を残したまま予測するため、予測分布は複数モードや厚い尾を持ち得る。実務では積分をモンテカルロで近似したり、予測分布を仮定した形式で近似したりする。結果として、平均予測だけでなく、分散や区間推定が一貫した手続きで得られる。
2 モデル化の要点
2.1 事前分布の選択
2.1.1 正則化としての事前
事前分布は、学習前に重みに課す振る舞いを定める要素であり、結果として正則化の役割を果たす。点推定での重み減衰に相当する働きは、事前分布の選択として見直せることが多い。適切でない事前は、データが少ない領域で予測の偏りや過度な確信につながる。したがって事前は「未知性の置き方」を左右する設計パラメータとして扱う必要がある。
2.1.2 階層事前とハイパーパラメータ
事前の形を固定するだけでなく、事前のパラメータ（スケールや分散など）をさらに確率変数として与えると階層化できる。これによりデータからスケール感を学習する余地が増え、過度に硬い仮定を避けやすくなる。階層化では周辺化や近似が必要になり計算負荷が増えることがあるため、推論手法との組合せを慎重に選ぶのが望ましい。
2.2 尤度モデルと損失設計
2.2.1 回帰と分類の尤度
尤度は、ニューラルネットの出力が確率分布の母数として機能するように定める。回帰では、誤差分布を仮定して条件付き分布を設計する。分類では、クラス確率を出力し、多項分布などに基づく対数尤度が損失関数の基礎になる。尤度の選択は学習の勾配方向と最終的なキャリブレーションに影響し、特に分散が推定される設定では外れたデータ点の扱いも変わる。
2.2.2 分散（観測ノイズ）の扱い
観測ノイズのモデル化は、ベイズニューラルネットの不確実性を左右する重要な部分である。回帰で一定のノイズ分散を仮定するか、入力依存のノイズを導入するかで、同じ誤差に対する解釈が変わる。ノイズが過小評価されると過剰適合しやすくなり、過大評価では予測が鈍くなる。さらに、重みの不確実性と観測ノイズの寄与を分離して理解できるような設計が望ましい。
2.3 変換後の予測
2.3.1 出力の分布表現
ニューラルネットは内部では連続量やロジットなどの表現を扱うことが多い。ベイズ化した場合、その表現から最終出力に至るまでの変換を通じて確率分布が形成される。例えば分類では、ロジットから確率へ変換する非線形性が、分布の歪みや尾の厚さを生むことがある。したがって「どの段階の変数を予測分布として評価するか」を明確にしておくことが実務上重要である。
2.3.2 予測分位点・信頼区間
予測分布が得られれば、分位点や区間推定が計算できる。回帰では、予測分布の下側・上側の分位点を用いて信頼区間を構成できる。区間の幅は不確実性に対応し、データが少ない領域や入力が訓練分布から外れると広がりやすいことが期待される。分類では、確率の分布から不確実性指標を導き、誤りが起こりやすい入力を相対的に特定するための根拠となる。
3 代表的な推論・学習手法
3.1 変分推論（VI）
3.1.1 変分事後の仮定
変分推論では、真の事後分布 \(p(w\mid D)\) を直接扱う代わりに、近似分布 \(q(w)\) を導入する。近似分布は計算可能な形に制限されることが多く、代表的には独立性を仮定した因子化やガウス族の選択がある。仮定の強さは精度と計算効率のトレードオフを生むため、層やパラメータの構造に合わせて設計する必要がある。
3.1.2 ELBOの最適化
変分推論では、目的関数としてELBO（変分下界）を最大化するか、負の値を最小化する。ELBOは「近似分布が事後にどれだけ近いか」と「データに対する説明力」を同時に評価する量になっている。計算では期待値項が必要になるため、サンプル推定や解析的な評価可能性に応じた近似が用いられる。
3.1.3 近似の設計上の注意
変分推論では、近似分布の表現力が制限されることでバイアスが生じ得る。例えば単峰性を強く仮定すると、真の事後の複数のモードを反映できない場合がある。さらに、独立性仮定により相関が失われると、予測分布の形状や区間推定が過度に単純化されることがある。実務では、近似の自由度と学習の安定性を両立させる設計が重要となる。
3.2 モンテカルロ法（サンプリング）
3.2.1 ラプラス近似系
ラプラス近似は、事後分布を近傍で局所的に近似する考え方である。通常は事後のモード近傍を正規分布で近似し、第二次の情報（ヘッセ行列に関連する量）を用いて曲率を反映する。計算は相対的に軽い場合があるが、事後が複雑な形状を持つ場合には妥当性が落ちることがある。ニューラルネットの非線形性は強いため、近似の前提を検証しながら適用する必要がある。
3.2.2 MCMCによる事後近似（概念）
MCMC（マルコフ連鎖モンテカルロ）は、事後分布からサンプルを生成し、それに基づいて期待値を推定する枠組みである。理論上は厳密性に近い性質を持つが、ニューラルネットの高次元パラメータに対しては収束性や計算負荷の問題が起こりやすい。設計としては提案分布の選択やサンプル効率の改善が鍵となる。概念的には、予測分布の積分を「重みのサンプルの平均」として実行できる。
3.3 近似的ベイズ手法
3.3.1 ドロップアウトを用いた近似（考え方）
ドロップアウトを推論時にも適用し、複数回の前向き計算から予測分布を近似する手法は、ベイズ的解釈と結び付けて語られることがある。ここでは、ドロップのランダム性が重みの不確実性を近似しているとみなす。厳密な事後推論ではないが、実装が容易であるため、実務における利用が進んできた。予測の分散や信頼度の推定に応用できる一方、得られる不確実性の性質は設定依存である。
3.3.2 アンサンブルによる近似
ベイズ推論の一部を「モデルの複数学習」として近似する考え方もある。複数の学習済みネットを用い、予測を平均することでモデル不確実性を反映させる。アンサンブルは実装しやすく、推論時に多数のモデルを走らせることで予測分布の推定ができる。アンサンブルの多様性が確保される設計ほど、推定される不確実性が情報的になる。
3.3.3 事後のサンプル生成戦略
近似ベイズでは、事後のサンプル（または近似に相当する疑似サンプル）をどう生成するかが重要になる。例えば、変分分布からのサンプル、MCMCからの逐次サンプル、ドロップアウトの確率的マスクなどが挙げられる。サンプルの数、相関の有無、サンプルの品質は予測分布の見積りに影響するため、統計的な安定性と計算時間のバランスを取る必要がある。
4 実装・評価・応用
4.1 実務上の実装論点
4.1.1 学習安定性と収束
ベイズニューラルネットの学習は、確率的目的関数やサンプル推定を伴うことがあるため、学習安定性の確保が課題になる。学習率の調整、正則化の強さ、勾配推定の分散制御などが性能に影響する。変分推論ではELBO最適化の挙動が、サンプリング手法では鎖の探索やバーンインが、収束性の評価対象となる。
4.1.2 計算コストとメモリ
推論での積分近似により、点推定型より計算量が増える場合が多い。サンプリング数やモデル数（アンサンブルの規模）、サンプル生成に伴う前向き計算の回数が支配的になる。さらに、事後近似をパラメータ化する場合は追加の変数（分散や共分散に相当する量）を保持する必要がある。したがって、目的に応じて精度と速度の折衷点を設計することになる。
4.1.3 ハイパーパラメータの扱い
事前の選択、階層化の深さ、近似分布の形、学習率やモンテカルロのサンプル数など、多くの設定が結果に関与する。過度に複雑にすると再現性や比較が難しくなるため、検証用データの使い方やチューニング範囲を計画的に管理するのが望ましい。ベイズ的手法は「不確実性の質」が重要であるため、単に予測誤差だけでなく校正の観点も含めて評価することが実務上有効である。
4.2 不確実性の評価
4.2.1 校正（キャリブレーション）
不確実性評価では、予測確率や区間が実際の誤り率と整合しているかが重要になる。分類なら確率のビン分けによって、予測が高い領域でどれだけ誤りが起きているかを確認できる。回帰では区間推定の包含率（指定した信頼水準の範囲に実データが入る割合）を用いる。校正が悪い場合、モデルは不確実性を過大あるいは過小に見積もっている可能性がある。
4.2.2 決定指標（信頼度と誤差の関係）
不確実性の数値を、意思決定に利用できる形にする評価も行われる。例えば、予測信頼度が高いサンプルほど誤りが少ないかどうか、あるいは不確実性の高い入力を優先的に再検証したときに損失がどれだけ抑えられるかを測る。ここでは誤差指標と不確実性指標の相関、リスクに応じた閾値選択が論点となる。
4.3 典型的な適用領域
4.3.1 回帰の信頼区間推定
回帰でのベイズニューラルネットの利用は、予測区間を伴う意思決定に直結しやすい。信頼区間は平均予測だけでは見えないリスクを示し、例えば安全マージンの設定や異常検知の補助に使われる。観測ノイズを明示的に扱う設計では、区間幅の内訳が「データのばらつき」と「モデル側の不確実性」に分解される解釈も可能になる。
4.3.2 分類の不確実性検出
分類では、確率の分布から不確実性を推定し、誤分類の起こりやすさを推定できる。単純な確率最大値では捉えにくい「決定境界付近」の曖昧さを、分布の広がりとして表現できることがある。結果として、人手確認の優先度付けや、追加データ取得の判断に応用される。
4.3.3 外れ値・分布外検知の考え方
入力が訓練分布から大きく外れたときに、不確実性が増えるかどうかは重要な性質である。ベイズニューラルネットは、重みの事後分布を通じて「モデルがどれほど確信を持てているか」を出力に反映させるため、分布外で不確実性が増える傾向が期待される。ただし不確実性が必ずしも増加するとは限らず、事前や尤度、近似の質が影響するため、評価と検証が不可欠である。
4.4 注意点と限界
4.4.1 近似の偏り
ベイズ的手法の多くは近似を伴うため、事後分布や予測分布の形状が真値からずれることがある。変分推論では仮定した家族により表現が制限され、サンプリングでは有限サンプルや混合の遅さが誤差を生む。近似誤差は不確実性の評価に直結するため、精度だけでなく校正の観点での点検が求められる。
4.4.2 事前・尤度依存性
事前分布や尤度の選択は、特にデータが少ないときに結果を強く左右する。適切でない事前は不確実性の見積りを歪め、過信や過度な慎重さを引き起こし得る。尤度の誤指定は、観測ノイズの解釈や損失の形を変えてしまい、予測分布の妥当性を損なう。したがって、モデル仮定の整合性を検証する姿勢が重要である。
4.4.3 解釈可能性の範囲
ベイズニューラルネットの不確実性は「合理的な確率モデル化」を目指すものであるが、常に直観通りに解釈できるわけではない。近似手法の性質や実装上の工夫によって、不確実性が必ずしも認識論と観測ノイズに完全に分解できない場合がある。解釈可能性は、評価指標での整合、校正の確認、設計上の仮定の理解とセットで初めて実用的になる。