1 概要
ラプラス近似は、関数や確率分布の極値付近を二次式で表し、計算を扱いやすくする近似手法である。統計学や機械学習では、積分の評価や事後分布の要約に用いられ、複雑な対象を正規分布で置き換える方法として知られる。
この方法の要点は、全体の形を厳密に追うのではなく、中心付近の曲率に注目して代表的な性質を取り出す点にある。そのため、少ない計算量で主要な挙動を把握しやすい一方、形が大きく歪んだ分布や複数の山を持つ場合には、誤差が目立ちやすい。
1.1 定義
ラプラス近似とは、滑らかな関数の最大点または最小点の近傍でテイラー展開を二次まで取り、そこから得られる二次形式を使って対象を近似する方法である。確率論では、対数密度を極値点の周りで二次近似し、対応する正規分布を構成する形で使われる。
1.2 基本的な考え方
この近似では、極値点の近くでは一次の変化よりも曲率が重要だとみなす。したがって、関数を放物線状の形で置き換えれば、積分計算や分布の概形把握が簡単になる。中心点、傾き、曲率の三要素のうち、極値点では傾きが消えるため、残る曲率情報が近似の主軸となる。
1.3 適用分野
主な応用先は、ベイズ推定、モデル選択、近似推論である。加えて、統計物理、情報科学、機械学習の一部のアルゴリズムでも利用される。厳密解が得にくい積分や、解析的に扱いにくい事後分布を簡潔に要約したい場面で有効である。
2 数学的背景
ラプラス近似の基礎には、滑らかな関数の局所的な展開と、曲率を記述する行列の性質がある。特に、極値点の近傍では関数のふるまいが二次項でかなり表現できるため、正規分布との対応が自然に現れる。
2.1 テイラー展開
テイラー展開は、ある点の近くで関数を多項式として表す方法である。ラプラス近似では、極値点のまわりで一次項が消えることを利用し、二次項までを残す。
2.1.1 一次近似との違い
一次近似は、接線によって局所的な傾きを再現する。これに対し、ラプラス近似は二次項を含むため、曲がり具合まで表せる。極値点では接線の情報が乏しいので、一次近似だけでは分布の中心的な形を十分に捉えにくい。
2.1.2 二次近似の意味
二次近似は、関数を放物線のような形に置き換えることを意味する。極値点の近くでは、この形が元の関数の山や谷の輪郭をよく表す。確率密度の対数に適用すると、指数関数を通じて正規分布の形が導かれる。
2.2 ヘッセ行列
ヘッセ行列は、二階偏導関数を並べた行列であり、多変数関数の曲率を表す。ラプラス近似では、この行列が近似分布の幅や向きを決める中心的な役割を担う。
2.2.1 極値近傍での曲率
極値の近くでは、ヘッセ行列の成分が各方向の曲がり方を示す。値が大きければその方向に急な変化があり、値が小さければ緩やかである。多変数では、方向どうしの結びつきも行列の非対角成分に表れる。
2.2.2 正定値性と近似の安定性
最小点の近傍でヘッセ行列が正定値であれば、近似された二次形式は安定した谷の形を持つ。これにより、共分散行列の計算がしやすくなる。逆に、特異に近い場合や不定の場合には、近似の解釈が難しくなる。
2.3 正規分布との関係
二次形式を指数関数に入れると、正規分布の指数部と同じ構造が現れる。したがって、ラプラス近似は対数密度を局所的に正規分布へ写す方法とみなせる。平均は極値点に対応し、分散は曲率の逆数に相当する。
3 ラプラス近似の導出
導出では、積分や確率密度を対数に変換し、極値点の近傍で展開する。これにより、元の複雑な式が標準的な正規形へ近づく。
3.1 積分近似の導出
積分の被積分関数が鋭い峰を持つとき、その峰の周辺が寄与の大部分を占める。そこで、峰の位置で対数を展開し、周辺を二次式で表して積分を近似する。
3.1.1 被積分関数の対数変換
被積分関数をそのまま扱うより、対数を取ると積と指数の構造が整理される。指数の中身を展開すれば、峰の近くでの変化が明確になる。これは、極端に小さい値や大きい値を直接計算する負担も軽減する。
3.1.2 鞍点近傍での展開
鞍点近傍の展開では、最大寄与を与える点のまわりで二次項まで残す。すると、積分はガウス型積分に帰着しやすくなる。この方法は、積分の支配的部分を局所情報から見積もる点に特徴がある。
3.2 事後分布近似の導出
ベイズ推定では、事後分布が解析的に求めにくいことが多い。ラプラス近似は、対数事後分布の最大点を基準に、その周辺を正規分布で置き換えることで近似を行う。
3.2.1 最尤点または最適点の決定
まず、対数事後分布を最大にする点を求める。これは最尤推定や最大事後推定に対応する場合がある。得られた点が近似分布の中心として機能する。
3.2.2 共分散の推定
中心点のまわりでヘッセ行列を計算すると、分布の広がりを表す量が得られる。その逆行列が共分散の近似となる。曲率が大きいほど分布は狭くなり、小さいほど広がる。
3.3 多変量の場合の一般化
多変量では、各変数の効果に加えて、変数間の相関も考慮する必要がある。ラプラス近似は行列形式で自然に拡張できる。
3.3.1 行列形式での表現
多変量の二次近似は、勾配ベクトルとヘッセ行列を用いて簡潔に表される。これにより、中心点からのずれがどの方向でどれだけ罰せられるかをまとめて記述できる。正規分布の共分散構造とも対応しやすい。
3.3.2 次元が高い場合の注意点
次元が増えると、ヘッセ行列の計算や逆行列の取得が重くなる。さらに、数値誤差や条件数の悪化が起きやすい。高次元では、近似の速さと安定性の両立が重要になる。
4 統計学での応用
統計学では、ラプラス近似は厳密計算が難しい場面で実用的な代替手段となる。とくに、ベイズ的な枠組みでは、事後分布や周辺尤度の近似に広く使われる。
4.1 ベイズ推定
ベイズ推定では、観測データと事前分布を組み合わせて事後分布を求める。ラプラス近似は、その事後分布を正規分布として近似するための代表的な方法である。
4.1.1 事後分布の正規近似
対数事後分布の最大点を中心に、曲率に基づく正規分布を構成する。これにより、点推定だけでなく不確実性の概略も得られる。計算が比較的軽いため、初期解析に向いている。
4.1.2 周辺尤度の近似
周辺尤度は、モデル比較に必要だが、積分のために計算が難しいことが多い。ラプラス近似を使うと、積分を局所的な二次情報から見積もれる。これにより、モデル全体の当てはまりをおおまかに比較しやすくなる。
4.2 モデル選択
モデル選択では、複数の仮説や構造の中から適切なものを選ぶ。ラプラス近似は、その際の証拠量を近似的に評価する手段として用いられる。
4.2.1 ベイズ因子の評価
ベイズ因子は、二つのモデルの相対的な支持を示す指標である。周辺尤度を近似できれば、これを用いて比較が可能になる。ラプラス近似は、複雑な積分の代わりに実用的な見積もりを与える。
4.2.2 近似の役割と限界
この手法は、厳密な証明や完全な再現を目的とするものではない。モデルの粗い序列をつけるには役立つが、細かな差の判定には慎重さが要る。特に、事後分布が歪んでいる場合は判断を誤りやすい。
4.3 近似推論
近似推論では、厳密解の代わりに扱いやすい形を使って推測を行う。ラプラス近似は、簡便さの面で有利な代表例である。
4.3.1 変分推論との比較
変分推論は、選んだ分布族の中で最適な近似を求める方法である。これに対し、ラプラス近似は極値点周辺の局所形状に基づく。前者は柔軟性が高いことがあり、後者は実装が単純で計算も軽い。
4.3.2 数値積分との比較
数値積分は、設定が小規模であれば高精度を得やすい。だが、次元が増えると計算量が急増する。ラプラス近似はその負担を抑えられる一方、精密さでは数値積分に及ばない場合がある。
5 計算手順
ラプラス近似の実装は、中心点の探索、ヘッセ行列の評価、近似分布の構成という流れで進む。各段階で数値計算の精度が結果に影響する。
5.1 近似点の決定
まず、近似の基準となる点を決める。この点は、対数密度や目的関数の最大点であることが多い。
5.1.1 最大化問題の解法
最大点を求めるには、勾配法やニュートン法などの最適化手法が使われる。目的関数の形が滑らかであれば、比較的安定して収束しやすい。良い初期値を選ぶことが、実用上の成功率を高める。
5.1.2 数値最適化の利用
解析解がない場合、数値最適化が中心になる。反復計算により候補点を更新し、勾配が小さくなる位置を探す。途中で局所解に入る可能性があるため、停止条件や初期化の工夫が必要である。
5.2 ヘッセ行列の計算
次に、近似点での二階微分を求める。これにより、分布の広がりと方向性が決まる。
5.2.1 解析的計算
関数の式が明確なら、二階微分を手で導ける。解析的計算は精度面で有利だが、式変形が煩雑になることがある。簡潔な表現が可能な場合には、数値誤差も抑えやすい。
5.2.2 数値的計算
式が複雑なときは、有限差分や自動微分を使う。数値的手法は柔軟だが、刻み幅や丸め誤差の影響を受ける。特に高次元では、計算資源との兼ね合いが重要になる。
5.3 近似分布の構成
中心点とヘッセ行列が得られれば、正規分布の平均と共分散を組み立てられる。これがラプラス近似の最終的な出力となる。
5.3.1 平均の推定
平均は、通常、近似点そのものに置かれる。最大点を中心とすることで、分布の山の位置を再現する。これにより、代表値としての解釈がしやすくなる。
5.3.2 分散の推定
分散や共分散は、ヘッセ行列の逆から決まる。曲率が鋭い方向では値が小さくなり、平坦な方向では大きくなる。こうして、近似分布は元の対象の局所的な広がりを反映する。
6 性質と評価
ラプラス近似は、速さと簡便さに優れる一方、分布形状によって性能が大きく変わる。評価では、精度、計算負荷、適用可能性をまとめて見る必要がある。
6.1 精度の特徴
精度は、対象がどれだけ局所的に正規形へ近いかに依存する。極値点の近くで対称性が高いほど、良い結果を与えやすい。
6.1.1 高次元での挙動
高次元では、個々の方向の曲率差が大きくなりやすい。近似自体は適用できるが、数値安定性の確保が課題となる。次元が上がるほど、重要な方向だけを抽出する工夫が求められる。
6.1.2 分布形状への依存
尖った山を持つ分布には比較的向いているが、裾が重い分布や歪みの強い分布ではずれが生じやすい。局所情報だけでは全体像を十分に表せないためである。形状の確認が精度評価の前提となる。
6.2 長所
この手法の長所は、少ない情報から実用的な近似を作れる点にある。初期探索や大規模問題で特に利点が大きい。
6.2.1 計算効率
積分やサンプリングを大量に行わずに済むため、計算時間を節約できる。反復回数も比較的少なくて済む場合が多い。大きなデータや複雑なモデルに対して、試行的な解析を行いやすい。
6.2.2 実装の容易さ
必要な要素は、最適化、二階微分、行列演算の三つが中心である。標準的な数値計算環境で実装しやすく、理論と実務の橋渡しとして使いやすい。既存の統計ソフトでも比較的導入しやすい。
6.3 短所
短所としては、局所近似であることに起因する限界がある。全体の構造を表現できない場合には、結果の解釈を慎重に行う必要がある。
6.3.1 多峰性への弱さ
山が複数ある分布では、一つの峰の近傍しか表せない。別の峰が重要であっても、単一の正規分布では反映しにくい。したがって、代表値を一つに絞る状況では偏りが生じうる。
6.3.2 非対称分布での誤差
左右で形が異なる分布では、二次近似が平均的な曲線しか与えない。裾の広がりや片側の急変を捉え損ねることがある。こうした場合、近似誤差は目に見えて増えやすい。
6.4 改良手法
ラプラス近似の弱点を補うため、より高次の情報や別の近似法を組み合わせる方法が考えられる。
6.4.1 高次近似
三次以上の項を取り入れると、歪みをある程度表現できる。もっとも、計算は複雑になり、安定性の確保も難しくなる。理論上は改善が見込めても、実装面では慎重な調整が必要である。
6.4.2 他の近似法との併用
変分法やモンテカルロ法と組み合わせると、局所近似の弱点を補いやすい。ラプラス近似で初期値や尺度を与え、別の手法で精緻化する使い方もある。目的に応じて手法を分担させると、全体の効率が上がる。
7 関連項目
7.1 テイラー展開
関数をある点の近くで多項式として表す基本手法で、ラプラス近似の理論的土台となる。
7.2 鞍点近似
積分の支配点周辺を用いて評価する近似法で、ラプラス近似と考え方が近い。
7.3 変分ベイズ
事後分布を別の分布族で近似するベイズ推論の方法で、局所二次近似とは異なる発想を持つ。
7.4 モンテカルロ法
乱数サンプリングにより分布や積分を評価する数値手法で、近似の精度比較対象としてよく用いられる。