1 重要度サンプリングの概要
1.1 基本概念
1.1.1 期待値・積分のモンテカルロ推定
重要度サンプリングは、確率分布に基づく乱数生成を用いて、積分や期待値を近似するモンテカルロ法の効率を高める考え方である。対象となるのは、通常「ある確率変数の関数に対する期待値」または「重み付きの積分」であり、一般形では評価したい量は
- 元の分布に対する期待値
- もしくは被積分関数と密度の積により表される積分
として書ける。
従来の単純サンプリングでは、元の分布から一様に（言い換えれば設計なしに）サンプル点を集め、各点で関数値を平均することで推定する。しかし、重要な寄与を生む領域が元の分布の下で稀である場合、ほとんどのサンプルが「ほとんど寄与しない」点に落ち、推定誤差の減りが遅くなる。重要度サンプリングはこの問題を、サンプルが集まる領域を調整することで緩和する。
1.1.2 分布変更（提案分布）の考え方
重要度サンプリングでは、元の分布からそのままサンプルする代わりに、別の分布（提案分布）からサンプルする。狙いは、評価したい量に大きく寄与する領域を提案分布で起こりやすくする点にある。サンプル点が異なる分布に従うと、単純な平均では期待値が一致しなくなるため、重み付けにより補正する。
重みは、サンプルを生成する分布に対して、元の分布との相対比を用いて定められる。こうして、提案分布の下で発生した点でも、元の分布に関する量へと復元できる。結果として、推定器の期待値（不偏性の条件を満たす場合）が正しくなると同時に、分散が小さくなる可能性が高まる。
1.2 数式による定義
1.2.1 重み付き推定量
最も基本的な設定では、評価したい量を元の密度 \(p(x)\) に関する積分 \[ I=\int f(x)p(x)\,dx \] と書く。ここで \(f(x)\) は評価対象（モンテカルロで平均したい量に対応する関数）である。
重要度サンプリングでは、提案密度 \(q(x)\) からサンプル \(x_1,\dots,x_N\) を生成し、重み \[ w(x)=\frac{p(x)}{q(x)} \] を用いて \[ \hat I=\frac{1}{N}\sum_{i=1}^N f(x_i)w(x_i) =\frac{1}{N}\sum_{i=1}^N f(x_i)\frac{p(x_i)}{q(x_i)} \] を計算する。これは、提案分布に従って点を集めつつ、密度比で寄与を補正する形になっている。
提案分布の選び方が良い場合、重要な領域でサンプルが増えるため、推定器の分散が下がる。逆に、寄与が大きい領域で \(q(x)\) が極端に小さいと、重みが大きく振れ、誤差が増えることがある。
1.2.2 不偏性と条件
上の推定量が不偏であるためには、重みが定義可能であること、すなわち \(q(x)=0\) となる領域で \(p(x)f(x)\) が実質的に寄与しないことが必要である。典型的には
- \(q(x) > 0\) が \(p(x)f(x)\) が寄与する領域で成立する
という条件が課される。
この条件のもとで、期待値は \[ \mathbb{E}_q[\hat I] =\mathbb{E}_q\!\left[f(X)\frac{p(X)}{q(X)}\right] =\int f(x)p(x)\,dx=I \] となり、不偏性が保証される。さらに、分散が有限であること（\(\mathbb{V}_q[f(X)p(X)/q(X)]<\infty\)）も実務上重要である。分散が発散する場合、サンプル数を増やしても精度が改善しないため、提案分布の設計は数値面でも慎重さが要る。
1.3 通常のサンプリングとの違い
1.3.1 分散低減の狙い
単純サンプリングに比べ、重要度サンプリングの主目的は分散の低減である。推定誤差の大きさはしばしば推定量の分散に関連し、同じサンプル数でより小さい分散を持つ推定器は収束が速い。
分散低減は「寄与の大きい値が出やすいサンプル生成」と「重みの安定性」という二要素に支えられる。提案分布が適切なら、評価対象の大きな部分が多くのサンプルで観測され、平均の変動が縮む。一方で、理想的な分布変更ほど重みの形は複雑になりうるため、実装では重みのばらつきも同時に抑える必要がある。
1.3.2 サンプル配分の変更点
重要度サンプリングの実質的な変更点は、「サンプルをどこに置くか」である。単純サンプリングでは元の密度 \(p(x)\) の形に従ってサンプルが散らばるが、重要度サンプリングでは \(q(x)\) の形がサンプルの空間分布を決める。
同じサンプル数でも、提案分布が良ければ積分に効く領域にサンプルが集まりやすくなる。その結果、推定器における寄与の偏りは小さくなり、統計的な誤差が抑えられる。ただし、過度な集中特化は重みの巨大化を招き、逆効果になることがあるため、調整はバランスを要する。
2 推定手順と実装の流れ
2.1 応用対象の設定
2.1.1 推定したい期待値の定義
最初に行うのは、推定対象を「積分」または「期待値」として明確化することである。典型例として、あるランダム変数 \(X\) に対する関数 \(g(X)\) の期待値 \(\mathbb{E}[g(X)]\) があり、これは密度表現が可能なら \(p(x)\) と組み合わせて積分形に移せる。
また、積分形の場合は \(f(x)p(x)\) の分解に相当するものを特定し、重み付けの式で使う \(p(x)\) を定義する必要がある。ここで誤った分解を行うと重みの意味が崩れ、不偏性や精度保証が成立しなくなる。
2.1.1.1 積分形・和の形の整理
評価対象が連続変数の積分なのか、離散状態の和なのかを整理することも重要である。離散の場合は密度の比が確率の比になり、推定量は和の形で構築される。連続と離散では数値実装の細部（サンプルの生成、重みの計算、ゼロ確率の扱い）が変わるため、最初の段階で表現を統一しておくと後工程が安定する。
加えて、関数 \(f(x)\) が非負か、符号を持つか、急峻なピークを持つかなども把握対象となる。ピークやテールが強い場合は提案分布の設計に特に影響する。
2.2 サンプリング（重要度分布の選択）
2.2.1 提案分布の役割
提案分布 \(q(x)\) は、サンプル点をどの領域で多く生成するかを決める設計要素である。理想的には、積分の主要な寄与を担う領域で \(q(x)\) が比較的大きくなることが望ましい。
ただし、提案分布は万能ではない。たとえば
- \(q(x)\) が少しでも小さくなる領域があると、重み比が極端に大きくなる
- 重みの巨大化は分散の悪化につながる
という性質がある。そのため、寄与を拾う能力と重みの安定性の両立が目標になる。
2.2.2 提案分布のパラメータ化
実務では \(q(x)\) を解析的に最適形で選べないことが多い。そのため、パラメータを持つ族 \(q(x;\theta)\) を用意し、パラメータ \(\theta\) を選ぶことが一般的である。パラメータ化の目的は、重要領域への適応と数値安定性の両面を制御することである。
パラメータ調整の指針としては、重みのばらつきが過大にならないこと、有効サンプル数が確保されることなどが用いられる。場合によっては複数の候補分布を切り替える設計や、データから学習する適応型も採用される。
2.3 重みの計算と推定量の組み立て
2.3.1 重みの定義
実装上の中心は重み計算である。重み \(w(x)\) は一般に \(p(x)\) と \(q(x)\) の比で与えられる。密度や確率が非常に小さくなる状況では、直接の除算が数値誤差を引き起こしやすい。そのため、ログ密度で計算し、差分として扱う（いわゆる対数領域での実装）ことが有効になる場合がある。
また、重みの計算ではサポートの不一致にも注意が必要である。提案分布がゼロになる領域で元の密度が非ゼロだと、重みが定義できないか、計算上は無限大相当になってしまう。サポート条件を満たすように \(q(x)\) を設計することが基本になる。
2.3.2 正規化重みと比推定
場合によっては、分子と分母がともに期待値として表される形（比の推定）に拡張される。たとえば \[ \frac{\int f(x)p(x)\,dx}{\int p(x)\,dx} \] のような比を扱うとき、両方をサンプルで近似し、正規化重みを使って推定する流れが生じる。正規化重みとは、重みを合計で割って確率のように扱える形にしたものである。
正規化重みによる推定量は不偏性が厳密には成立しないことがある一方、分散の性質が改善される場合もある。そのため、用途によっては不偏性よりも実用的な誤差（平均二乗誤差など）を重視して選択される。
2.4 実務的アルゴリズムの例
2.4.1 限定された領域への集中
推定対象にとって重要な領域が明確に想定できるとき、提案分布をその周辺へ寄せる設計が有効になる。たとえば閾値を超える事象の確率に関連する積分では、境界近傍やその先を多くサンプルするように提案を調整する。
ただし、単に領域を狭めると、重みの比が増大しやすくなる。したがって「寄与の領域を覆いつつ、過度な集中で重みの尖りを増やさない」ことが実装上の要点になる。段階的に中心をずらす、裾をある程度確保するなどの工夫がよく用いられる。
2.4.2 テール事象の推定
分布の裾、つまり確率的に稀な事象に起因する積分は、単純サンプリングではサンプル不足に陥りやすい。重要度サンプリングはこの構造と相性が良く、テールが出やすい提案分布へ変更することで推定効率を改善できる。
ただしテールでは、重みの分散が急増しうる。対策として、提案分布の裾の厚さを制御する、重みが過大にならないようにパラメータを制限する、あるいは混合提案で極端値の発生を分散させるなどの手法が採られる。実際の設計では、観測した重みのばらつきや有効サンプル数をモニタし、挙動を確認しながら調整するのが一般的である。
3 分散・効率の評価
3.1 分散と誤差の考え方
3.1.1 重みのばらつき
重要度サンプリングの性能は、重みのばらつきに強く依存する。重みがほぼ一定なら平均は安定し、ばらつきが大きいと推定値が少数のサンプルに支配され、誤差が増える。
重みの分散や分布の形は、提案分布がどれだけ適切に主要寄与領域をカバーしているかを反映する。理論的には分散が小さい提案が望ましいが、実務では重みの挙動が時間変化することもあるため、反復計算やバッチごとの監視が役に立つ。
3.1.2 有効サンプル数の概念
重みのばらつきの大きさを、サンプル数に換算して表す指標として有効サンプル数が用いられる。直感的には、有効サンプル数が小さいほど、実質的な情報量が減っていることを意味する。
有効サンプル数は正規化重みから導出されることが多く、分母のような量を通じて「偏った重みの度合い」を捉える。これにより、推定量の精度が提案分布の設計にどれほど左右されるかが見えやすくなる。実装ではこの指標を使って、パラメータの調整や提案分布の切り替えを行う判断材料とすることがある。
3.2 最適な重要度分布の理想
3.2.1 分散最小化の発想
理想的な提案分布は、推定器の分散を最小にするように定められる。一般に、その形は評価対象 \(f(x)\) の影響を受ける。つまり「どの領域が大きな寄与を持つか」という情報を、サンプリング設計に反映させることで効率を上げるという発想である。
この最適化は通常解析的に解ける場合もあるが、多次元や制約のある現実問題では導出が困難になる。そのため、実務では近似的に目標形に近い提案を探す戦略が取られる。
3.2.2 理論上の最適提案
理論上の最適提案は、しばしば「被積分関数の絶対値に比例する形」など、重みの分散を均す考え方に結びつく。ただし、ここで得られる形は計算可能であるとは限らないため、現実にはパラメトリック族への射影、あるいは混合による近似が必要になる。
また、符号を持つ \(f(x)\) の扱いでは最適化の条件が複雑になり、設計指針としては重みの絶対値や分散支配項をどの程度抑えるべきかが重要になる。理論値は「目標の方向」を示すものとして理解するのが実用的である。
3.3 推定精度に影響する要因
3.3.1 サンプル数と収束
サンプル数が増えれば推定誤差は一般に減少するが、重要度サンプリングでは減少の速さが提案分布に左右される。重みの分散が小さければ統計的な収束が速くなり、逆に重みが不安定だと改善が鈍くなる。
実際には、有限サンプルでのばらつきや外れ値が支配的になる場合があり、単なる平均収束則だけでは評価できないことがある。そのため、テスト実験や診断指標を通じて挙動を確認する運用が望ましい。
3.3.2 ミスマッチによる性能劣化
提案分布が理想から外れると、重み比が大きくなり分散が増える。特に、寄与が大きい領域で提案が不足し、寄与が小さい領域へ多くサンプルが偏ると、推定器の有効情報が減ってしまう。
さらに、重みの分布が極端になると、平均が少数のサンプルに引っ張られ、推定値が試行ごとに大きく揺れることがある。これが「ミスマッチによる劣化」であり、提案分布の設計誤差がそのまま推定品質の不安定さとして現れる。
3.3.3 過度な集中の副作用
寄与領域へ強く集中させるほど精度が良くなるとは限らない。提案分布を極端に狭くすると、サンプルが選ばれる領域は確かに重要部分に近づくが、外れた点での補正（重み）が大きくなりやすい。特にサポート境界付近で密度比が極値を取る場合、推定器の分散が急増する。
この副作用は、見かけ上の「良いサンプルが増えた」ことと、「重みが荒れて平均が不安定になった」ことが同時に起こることで説明できる。設計では、集中度を段階的に調整し、診断指標が改善する範囲を見極めることが現実的である。
4 重要度サンプリングのバリエーション
4.1 正規化重要度サンプリング
4.1.1 自己正規化推定量
正規化重要度サンプリングでは、重みをサンプルごとに正規化し、分母を推定値に含める形で構成する。これは、密度 \(p(x)\) の正規化定数が未知、もしくは比のみが扱いやすい状況で便利になることが多い。
自己正規化の推定量は、サンプルの重み分布に基づいて期待値を近似する。直感的には、重みの合計でスケールを合わせたうえで平均を取る構造であり、数値の安定性が改善される場合もある。
4.1.2 バイアスと分散のトレードオフ
自己正規化は不偏性を厳密に保証しないことがある。その代わり、分散が下がり、実際の誤差が小さくなるケースが存在する。したがって、評価すべき指標は平均二乗誤差や実測の誤差幅になり、理論的な不偏性だけで良し悪しを決めにくい。
トレードオフの核心は、正規化によって余分なランダム性（分母の揺れ）が導入される一方で、過大な重みの影響が緩和される点にある。適用先の目的に合わせて、どの程度の偏りが許容されるかを検討する必要がある。
4.2 局所的・適応的手法
4.2.1 パラメータを学習する重要度分布
適応的な重要度サンプリングでは、提案分布のパラメータをサンプルの結果から更新する。初期の提案ではミスマッチがあっても、観測された重みや推定誤差の傾向を利用して、より適切な領域にサンプルを寄せていく。
学習の方法は多様であり、目的関数を分散最小化や尤度に関連付ける設計が存在する。実装では更新の頻度、安定化手法、過学習の抑制が論点になる。特に重みが極端になる局面では、更新が暴走して精度が悪化することがあるため、抑制策が必要になる場合がある。
4.2.2 サンプルの再利用の考え方
適応型では、すでに得たサンプルを次の推定に活かす再利用戦略が現れる。再利用とは、提案分布を更新しても過去の点を捨てずに活かすことであり、計算資源を節約できる可能性がある。
ただし分布が変わると、過去サンプルの重み付けが変わる。適切な重み再計算によって整合性を保つ必要がある。再利用の設計は、精度と計算コストのバランスを前提に行うのが一般的である。
4.3 混合提案（複数の重要度分布）
4.3.1 混合重みの計算
混合提案では、複数の提案分布 \(q_k(x)\) を用意し、合成分布 \(q_{\text{mix}}(x)=\sum_k \alpha_k q_k(x)\) でサンプルする。サンプル点に対する重みは、元の密度を混合分布で割った \[ w(x)=\frac{p(x)}{q_{\text{mix}}(x)} \] の形になる。
混合により、単一提案の失敗による大きな分散増を緩和しやすい。特定領域で一方の提案がカバーしきれない場合でも、別の成分が一定の確率でその領域を提供できるため、重みの極端化が抑えられることがある。
4.3.2 状況依存の提案切替
混合提案では係数 \(\alpha_k\) を固定せず、状況に応じて調整する設計が取られる。たとえば試行が進んで推定領域が見えてきたとき、特定成分の割合を増減させることで適応度を上げる。
切替は、精度を上げる可能性がある一方で、切替の頻度や変化量が大きいと重みの挙動が不安定になることもある。したがって、診断指標や事前の安定化基準を通じて、更新の度合いを制御する実装が望ましい。
4.4 関連手法との関係
4.4.1 モンテカルロ階層・再重み付け
階層構造を持つ問題では、重要度サンプリングがモンテカルロ階層の枠組みに組み込まれることがある。各段で条件付き分布に基づいてサンプルし、そのたびに重みを更新する、という再重み付けの発想が共通する。
この関連では、「どの分布からサンプルしているか」を明示し、そのたびに密度比で補正する点が重要である。階層を深くするほど設計の自由度が増えるが、同時に重みのばらつきも増える可能性があるため、実務では制御戦略が不可欠になる。
4.4.2 別の分散低減法との比較
重要度サンプリングは分散低減の一手法であり、他のアプローチとも比較されることが多い。たとえば
- 期待値を同一に保ったまま分散を下げる対称化
- 低分散サンプルを用いる系列
- 構造を利用した解析的補正
などがある。
比較の観点は、問題の性質に対する適合度、導入コスト（提案分布の設計や追加計算）、そして分散が悪化したときの挙動である。重要度サンプリングは提案分布の質に依存するため、設計難度は上がりうるが、適合すれば大幅な効率改善が期待できる。他手法と組み合わせることで、弱点を補完する設計も検討される。