1 変分推論の概要
1.1 ベイズ推定における位置づけ
変分推論（variational inference）は、ベイズ推定における「事後分布を得る」作業を、計算しやすい形の最適化へ置き換える手法群である。観測データが与えられたときに、本来は真の事後分布を求める必要があるが、多くのモデルで積分計算がボトルネックになる。変分推論はこの障害を避けるため、事後分布に近い近似分布をあらかじめ選び、その品質を一定の基準で最大化する。
この枠組みは、ベイズ理論が要求する厳密性を、計算上の制約のもとで現実的に近づける工学的アプローチとして位置づけられる。結果として得られる近似分布は確率としての性質を保ち、不確実性の表現や予測計算にも利用できる。
1.2 近似の必要性と計算上の課題
1.2.1 真の事後分布の直接計算が難しい理由
ベイズ推定では、事後分布は尤度と事前分布の積に比例し、その正規化定数は全パラメータ空間に対する積分で与えられる。多くの潜在変数や高次元パラメータを含むモデルでは、分母に相当する積分が一般に解析的に求まらない。
さらに、事後分布そのものを関数として扱う必要がある場合、評価するたびに周辺化や正規化が絡み、計算量が急激に増える。変分推論は、こうした「解析不能な積分」への依存を最小化する方向で設計されている。
1.2.2 周辺化計算の困難さと実務的影響
潜在変数モデルでは、目的変数の条件付き分布を得るために周辺化を繰り返す必要が生じる。高次元の周辺化は、モンテカルロ法で近似できることもあるが、精度を上げるほどサンプル数が増えやすい。
実務では、反復学習やオンライン推定が要求されることが多く、周辺化のコストが全体の性能を左右する。変分推論は、このコストを「近似分布のパラメータ最適化」へ転換し、計算を安定かつ繰り返し可能な手続きに落とし込む点で有利になる。
1.3 変分推論の基本方針
1.3.1 近似事後分布の選択
変分推論の出発点は、近似事後分布 \(q\) をある集合（近似族）から選ぶことである。近似族は通常、厳密事後分布を表現しきれない代わりに、計算を可能にする形に制約される。
代表例として、平均場のように独立性仮定を置くと分布の形が簡素になる。制約が強いほど計算は容易になるが、近似誤差が増える傾向があるため、近似族の設計は精度と計算量のトレードオフを担う。
1.3.2 最適化による推定
近似族の中で、真の事後に最も近い近似分布を見つけることが目標になる。一般には、変分下限（エビデンス下限）を最大化する形、あるいは分布距離に関する最小化と同値な形が用いられる。
この最適化問題は、近似分布のパラメータを連続変数として扱うことで勾配法や座標降下法などの既存手法を利用できる。したがって、変分推論は「確率の推定」を「最適化の問題」に再定式化する枠組みとして理解できる。
2 変分推論の数理的基礎
2.1 変分下限と最適化目的
2.1.1 対数証拠（エビデンス）との関係
ベイズモデルでは、観測データの周辺化尤度（エビデンス）が全パラメータにわたる積分で与えられる。この量の対数は、真の事後分布と近似分布の関係を結びつける基盤となる。
変分下限は、エビデンスの下からの評価（下界）として導かれることが多い。具体的には、ある仮定のもとで対数エビデンスが変分下限と非負の補正項に分解され、変分下限を最大化すれば補正項が小さくなる、という構造が生まれる。
2.1.1.1 変分下限（ELBO）の導出の考え方
導出の核心は、対数の中に現れる正規化項を直接扱う代わりに、近似分布 \(q\) に対する期待値として再表現することである。典型的には、潜在変数を含む同時分布を用い、事後に関する恒等式を変形していく。
その過程で現れるのが、近似分布の対数とモデルの尤度の組み合わせからなる指標であり、これがELBOとして整理される。ELBOは「近似分布が説明している度合い」と「複雑さの抑制（正則化の役割）」を同時に反映する形になる。
2.1.2 KLダイバージェンスとの等価性
ELBO最大化は、真の事後分布 \(p\) と近似分布 \(q\) の間のKLダイバージェンス（ある向きの差）を最小化することと等価に表せる場合が多い。これにより、変分推論の目的が「近さ」の定量化として理解できる。
ただし、KLダイバージェンスは非対称であり、どちら向きかで性質が変わる。変分推論で一般に用いられる向きでは、近似分布が真の事後の一部に張り付く傾向や、逆方向では異なる挙動が現れうる。したがって、最適化の結果は「モードの捕捉」や「裾の表現」に影響を受ける。
2.2 近似分布と仮定
2.2.1 近似族（ファミリー）の定義
近似族は、近似分布を表す関数の集合であり、たとえばパラメータ数を有限に抑える制約として現れる。選択肢が広いほど柔軟だが、最適化が難しくなったり、ELBO評価に必要な期待値が計算不能になったりする。
逆に選択肢を狭くすると、計算は容易になるが、表現力が不足しやすい。平均場はその一例で、独立性を仮定することで分布のパラメータが分解される一方、相関を表せなくなるという特徴がある。
2.2.2 制約付き最適化としての解釈
変分推論は「KL最小化（あるいはELBO最大化）」を行うが、その探索は近似族の範囲内に限定される。したがって、自由度の制約付き最適化問題として解釈できる。
この視点は重要で、真の最適解（厳密事後）に到達できない状況でも、近似族の中で最善の妥協点を見つけることが目的になる。結果として、得られる近似の誤差は、最適化の失敗だけでなく「モデルクラスの制限」からも生じうる。
2.3 平均場近似
2.3.1 因子分解による簡略化
平均場近似では、潜在変数間の独立性を仮定し、近似分布 \(q\) を因子の積として分解する。これにより、ELBOに含まれる期待値が各因子に分離され、計算が扱いやすくなる。
分解により、同時に高次の相互作用を表現する能力が落ちる一方、更新式は簡潔な形に整理されることが多い。特に座標降下法との相性が良く、各因子の更新を個別に求められる場合がある。
2.3.2 平均場がもたらす特徴と限界
平均場は相関を無視するため、複数の潜在要因が強く結びつく状況では近似が歪みやすい。たとえば、潜在変数の組がある集合に集中して存在する場合、独立因子の積ではその集合の形を再現できず、分布が広がったり鋭さが失われたりする。
一方で、計算効率と実装容易性が得られるため、規模の大きい問題では実用的な選択肢となる。精度の不足が顕在化したときには、より豊かな近似族（依存を許す構造）へ拡張する方針が取られる。
3 アルゴリズムと実装
3.1 座標降下法による更新
3.1.1 全条件付き分布の形の利用
座標降下法では、近似分布の因子ごとに変数を固定し、残りを最適化する。平均場のような分解がある場合、各因子の更新式が、モデルに現れる全条件付き分布に類似した形へ整理されることがある。
この性質により、更新を反復して進めるアルゴリズムが構築できる。更新式の導出は、ELBOの中で変化する項に注目し、期待値として表現していくことで進む。
3.1.2 共役性が効く場合
ある種のモデルでは、事前分布と尤度の組が共役であり、更新に必要な期待値が閉形式で得られる。共役が成立すると、各因子のパラメータは解析的に更新でき、計算が大幅に軽くなる。
共役性は万能ではないが、成立する領域では非常に安定した実装が可能になる。実務では、まず共役形で始め、必要に応じて非共役へ拡張する設計が選ばれることが多い。
3.2 勾配ベースの変分推論
3.2.1 連続パラメータの最適化
近似分布のパラメータが連続で定義されている場合、勾配を用いてELBOを最大化できる。座標ごとの更新に比べて柔軟な近似族を扱いやすく、依存構造をより許容する設計にも向く。
ただし非凸性のため、一般に初期値に依存して局所解に到達する可能性がある。従って、最適化の運用（学習率、反復回数、初期化戦略）の重要性が増す。
3.2.2 自動微分と最適化器
自動微分は、ELBOの計算グラフから勾配を機械的に得る。これにより、期待値の形が複雑でも実装が簡潔になり、汎用的な最適化器（確率的勾配法、Adam等）と組み合わせやすい。
実装では、数値安定性のために対数領域での計算や分散の制御を行うことが多い。加えて、サンプルを使う場合は勾配推定のブレが学習挙動に影響するため、実装上の注意が必要となる。
3.3 モンテカルロ推定によるELBO計算
3.3.1 サンプル平均による近似
ELBOに含まれる期待値が解析的に計算できない場合、近似分布からサンプルして平均で置き換える。サンプル数を増やすほど統計誤差は減るが、計算負荷が上がる。
このため、ミニバッチや確率的最適化と組み合わせて計算量を抑える戦略がよく用いられる。結果として、精度と速度のバランスを設計することが実装の中心課題になる。
3.3.2 分散を抑える工夫
サンプルベースの推定では分散が大きいと学習が不安定になる。対策として、分散低減のための基準化、制御変数、あるいは再パラメータ化の利用が検討される。
これらは共通して、同じサンプル数でより安定した推定量を得ることを狙う。理論上の無限精度が約束されるわけではないため、経験的な調整も重要になる。
3.4 最適化上の注意点
3.4.1 初期値依存性
変分目的関数は一般に非凸であり、最適化は初期値に敏感になり得る。異なる初期化で異なる近似分布へ到達し、ELBOの最終値も変わることがある。
実務上は、複数回の試行や、段階的な初期化（簡単なモデルからの転用）などの方針が取られることが多い。最終的な近似の妥当性を評価する視点も併せて必要となる。
3.4.2 局所解と過学習の兆候
局所解への収束は避けられない場合がある。近似がデータに過度に適合し、不確実性が過小評価される兆候として、予測の過信や過度な鋭さが観測されることがある。
また、モニタリング対象としてELBOだけを見ると見落としが起きやすい。ホールドアウトデータの性能、キャリブレーション指標、分布の妥当性検証などを組み合わせることで、過学習や近似の破綻を早期に検知できる。
4 応用と拡張
4.1 潜在変数モデルへの適用
4.1.1 潜在変数を含む生成モデル
潜在変数を伴う生成モデルでは、観測の背後にある要因を潜在変数として扱う。変分推論は、この潜在変数を含む推定を近似分布の更新として行えるため、学習と推論を一体的に進められる。
代表的な応用として、クラスタリングを確率モデルとして扱う枠組みや、テキスト・画像などの高次元データに対する潜在表現学習が挙げられる。データ規模に応じて計算手法を選べる点が利点となる。
4.1.2 解析的推定と近似推定の使い分け
モデル構造によっては、ある部分の更新が解析的に済む一方、他の部分は期待値計算が困難になることがある。変分推論では、このような「混在」に対応しやすい。
共役な領域は解析更新、非共役部分はサンプル推定や勾配ベース更新という形で組み立てると、性能と計算効率の両方を確保しやすい。実装戦略はモデルの構造理解と直結する。
4.2 ベイズニューラルネットワーク
4.2.1 パラメータの不確実性の扱い
ベイズニューラルネットワークでは、重みを確率変数として扱うことで、予測の不確実性を表現する。事後分布の厳密計算は一般に困難なため、変分推論により重みの分布を近似し、推論に反映させる。
これにより、学習データに基づく不確実性だけでなく、モデル構造が持つ曖昧さも取り込む方向で設計できる。応用では、リスク管理や意思決定の場面で有用性が示されることがある。
4.2.2 変分分布の設計
ニューラルネットワークに適した近似族の設計は、性能を左右する。例えば、重みごとに独立な近似を置くと実装は容易だが、依存関係の欠落により不確実性の見積もりが偏る可能性がある。
より柔軟な分布設計を採用すると表現力は増えるが、必要な計算（期待値や勾配推定）が複雑になる。したがって、計算資源と望む精度のバランスに応じて近似族を選ぶ必要がある。
4.3 表現力の拡張
4.3.1 より柔軟な近似族の導入
近似族が単純すぎると、分布の形を再現できず、ELBOが高止まりすることがある。そこで、依存構造を許す近似や、非線形変換を含む表現を用いて柔軟性を高める方向が検討される。
ただし、表現力を上げることは最適化の難度も引き上げる。結果として、安定性確保のための正則化や学習率設計が重要になる。
4.3.2 正規化フロー等の考え方（一般論として）
正規化フローは、単純分布から一連の可逆変換を通じて複雑な分布へ写像する発想として知られる。変分推論に取り入れる場合、近似分布を表す生成過程を柔軟化し、ELBOをより良く近似できる可能性がある。
一般に、変換のヤコビアンに関する計算が必要になり、設計と実装に工夫が要る。とはいえ、表現能力を高めたい場合の有力な方向性として位置づけられる。
4.4 実務での評価と選択指針
4.4.1 近似の品質の点検方法
変分推論では、ELBOが高いほど良いと考えられやすいが、ELBOだけでは事後分布の形のズレを十分に検出できない場合がある。近似の品質は、予測性能、分布統計量、キャリブレーション、ならびに可能ならば近似の基準比較により点検する。
さらに、従来法（例えばサンプリングに基づく推定）との比較を部分的に行うと、近似の過不足を把握しやすい。計算可能な範囲で検証を設計することが実務の鍵になる。
4.4.2 ハイパーパラメータ選定と検証
最適化には学習率、バッチサイズ、サンプル数、正則化係数など複数の調整項が含まれる。これらは収束速度や局所解の到達先、推定分散に影響するため、検証データを用いた選定が望ましい。
加えて、モデルの性質（非凸性、データ規模、近似族の制約）に応じて評価手順を変える必要がある。最終的な性能指標だけでなく、学習曲線の安定性や再現性を含めて判断することで、運用上の失敗を減らせる。