1 再パラメータ化の概要
1.1 定義と基本的な考え方
再パラメータ化とは、数理モデルや計算手順に登場する未知量（パラメータ）を、別の変数の関数として表し直す操作を指す。具体的には、元のパラメータを新しい変数で置換し、同じ現象を表すための数学的表現を別の座標系に移すことに相当する。変換が滑らかで微分可能である場合、推定や最適化で必要となる微分量は新しい変数側へと系統立てて変換される。
この概念は「表現の違いは計算上の扱いやすさに直結する」という考え方に基づく。たとえば、あるパラメータが直接扱いにくい制約（正値条件、確率の和が1、境界をまたがない性質など）を持つとき、その制約を最初から満たすような変数への写像を設計することで、後段の推定手続きが安定化する。
1.2 目的と利点
再パラメータ化の狙いは、計算過程の安定性、制約条件の自然な処理、得られる解の解釈性、さらには数理的な形の整理にある。変換によって「同一のモデル」を「異なるパラメータ表現」で実装し直すため、推定結果が本質的に同じであっても、到達までの経路や数値挙動が改善されることがある。
1.2.1 数値的安定性の改善
最適化や推論では、丸め誤差や勾配のスケール不整合が原因で学習が停滞したり、発散したりすることがある。再パラメータ化により、目的関数の形状（勾配や曲率の分布）を均し、学習の進み方を滑らかにできる場合がある。
たとえば、原パラメータが極端なスケールを取りうる場合、新しい表現でそのダイナミクスを狭めることで、勾配の過度な大きさや小ささが抑えられる。また、境界近傍での非線形挙動が過剰になる場合も、適切な変数選択で問題が緩和されることがある。
1.2.2 制約条件の扱いやすさ向上
多くのモデルでは、パラメータに内在する制約が存在する。代表例として、分散やスケールが正であること、確率が0以上であり合計が1であること、幾何学的量が特定の多様体上にあることなどが挙げられる。再パラメータ化は、これらの制約を満たす形で新変数を設計し、推定アルゴリズムが無効な領域へ踏み込む可能性を低減する。
無制約最適化が前提の手法を使う場合でも、制約を明示的に扱うより簡潔な実装になることがある。さらに、制約破りによる破綻（ログ計算の引数が負、分母が0に近づく等）を防ぐ効果も期待できる。
1.2.3 パラメータ解釈の明確化
座標系を変えると、見かけのパラメータ意味が変わる。再パラメータ化では、解釈しやすい統計量や幾何学的量に対応する新変数へ写像することで、推定結果の説明が容易になることがある。
たとえば、ある量を標準化した成分（中心化した平均、スケールで割った形など）として持つようにすれば、学習中に観測されるパラメータの大きさが比較可能になり、相対的重要度や感度分析がしやすくなる。解釈性の向上は、単に説明の便益にとどまらず、モデル診断や仮説検証の際にも有用である。
1.3 代表的な変換の種類
再パラメータ化は、変換写像の性質に応じて分類できる。線形・アフィン変換は実装が容易で分析もしやすい。非線形変換は制約処理や分布形状の制御に強い。さらに、対称性や同値性を利用した変換は、冗長性を減らし、探索効率を高める設計方針につながる。
1.3.1 線形・アフィン変換
線形変換は新しい変数が元のパラメータの一次式で表される場合を指す。アフィン変換は加えて定数項を含む。これらは多くの場面で解析が単純で、勾配・ヘッセ行列の変換も整理しやすい。
数値計算では、平均の中心化や分散のスケーリングなどが実質的な再パラメータ化として働く。特に入力特徴量の標準化は、学習中のスケール差を縮め、最適化の挙動を改善しやすい。変換が可逆であるなら、推定結果の情報は保持される。
1.3.2 非線形変換
非線形変換は、制約の充足や分布の扱いやすさのために用いられることが多い。正値制約に対しては対数、比率や確率に対してはロジットやソフトマックス、相関構造に対しては適切な写像が選ばれる。
非線形であるがゆえに、変換後の目的関数は新しい曲率を持ち、探索がしやすくなる場合がある。ただし、変換が急峻になる領域では勾配が増幅されることもあるため、変換形状とスケール調整は重要になる。
1.3.3 対称性や同値性に基づく変換
モデルが持つ対称性（回転不変、符号反転に対する同値性など）や同値性（別のパラメータ集合が同一の出力を与える状況）を踏まえ、冗長な自由度を縮約するための再パラメータ化が考えられる。たとえば同一解が複数の座標に現れる場合、探索空間での重複が起こり、推定が不安定になることがある。
この種の変換では、同値な領域を識別できるように座標を選ぶことや、探索の多様体構造に合わせたパラメータ化を行うことが焦点になる。適切に設計すれば、学習や推論の収束が早くなる可能性がある。
2 数理的な土台
2.1 変数変換とヤコビアン
確率モデルや尤度の扱いでは、確率密度や確率質量の変換が中心になる。変数変換ではヤコビアンが必要となり、変換が密度の形にどのような歪みを与えるかが決まる。
2.1.1 密度の変換則
連続値の確率変数で、元のパラメータ（変数）を新しい変数へと一対一に微分可能写像で置き換えるとき、密度はヤコビアンの絶対値で補正される。直観的には、座標系を変えることで微小な体積要素の大きさが変わり、その差を反映するための補正項が必要になる。
2.1.1.1 連続値の確率モデルでの補正
具体的には、新変数を \(y\)、元の変数を \(x\) とし、写像 \(x=g(y)\) が成立しているとする。密度 \(p_X(x)\) と \(p_Y(y)\) は、体積要素の変化としてヤコビアン行列の行列式が現れる。尤度を対数化して扱う場合も同様で、対数領域ではヤコビアン行列式の対数が加算される形になる。
この補正を省略すると、分布の正しい形が得られず、推論結果が系統的に歪む。特に事前分布や事後分布に対して変換を適用する場合、補正項の有無が最終的な推定値に直結する。
2.1.2 退化・多対一変換の注意
変換が一対一でない（退化して次元が落ちる、あるいは複数の \(y\) が同一の \(x\) を生成する）と、ヤコビアンだけで単純に密度を写すのが難しくなる。多対一の場合には、同一値に寄与する枝の和が必要になることがある。
さらに退化では、確率が低次元の集合に集中するため、連続密度の一般形がそのまま適用できない。実装では、変換が微分可能かどうかだけでなく、写像としての識別性や次元関係を確認する必要がある。
2.2 一対一性・可逆性の条件
再パラメータ化が安全に機能するかどうかは、一対一性や可逆性の有無に強く依存する。可逆であれば情報が保持され、不可逆であれば一部の表現が失われるため、推論や最適化の意味が変わりうる。
2.2.1 可逆性が保証される場合
写像が可逆であれば、元のパラメータ空間と新しい空間の間で対応が明確になる。確率モデルなら密度変換における補正も適切に適用でき、尤度や事後分布の整合性が保たれる。
最適化の観点でも、目的関数の値が一致するだけでなく、停留点の対応も整理しやすい。さらに、勾配情報が正しく変換されるため、自動微分による学習で整合性が取りやすい。
2.2.2 可逆性が崩れる場合の影響
可逆性が欠けると、同一の出力に対して複数の座標が存在する（あるいは逆に情報が圧縮される）ことになる。多対一の状況では、最尤解やMAP推定の解集合が座標により広がり、探索が冗長になる可能性がある。不可逆圧縮では、元のパラメータの区別が失われ、目的関数に関して同一価値の領域が生じやすい。
確率推論では補正項の扱いが複雑になり、誤った変換規則を用いると密度の整合性が破れる。そのため、可逆性の成立範囲（どの領域で一対一か）を意識する必要がある。
2.3 残差・誤差関数への影響
再パラメータ化は、残差や誤差関数の形に変化を与える。特に微分量の変換により、勾配や二階微分（ヘッセ行列）の構造が変わり、最適化の進み方が変わる。
2.3.1 勾配とヘッセ行列の変換
新しい変数 \(y\) に対する目的関数 \(L\) が \(x=g(y)\) 経由で定義されるとき、勾配は連鎖律に従って変換される。ヤコビアン（あるいはその転置）を介した形になり、勾配の向きと大きさが変わる。
ヘッセ行列は一次項の変換だけでなく、二階の微分による補正（曲率項）が加わる。したがって、ニュートン法や準ニュートン法のような手法では、表現の違いが収束性に影響しうる。設計段階で曲率のスケール感がどう変わるかを評価するのが実務上重要になる。
2.3.2 学習率やスケーリングへの波及
勾配の大きさが変われば、同じ学習率でも更新量の実効スケールが変化する。結果として、学習率を調整しないと発散、あるいは停滞が起こりうる。再パラメータ化はしばしばスケーリングを均す方向に働くが、それでも変換の導関数が極端になる場合は別途対策が必要になる。
また、正則化や重み減衰などの項はパラメータ空間に依存するため、変換後の見かけのペナルティが変わることがある。これにより、最適解の位置ではなく学習経路が変わる場合があり、ハイパーパラメータの再調整が必要になることがある。
3 応用分野
3.1 最適化における再パラメータ化
最適化では、制約付き問題を扱いやすくするために再パラメータ化がよく利用される。制約を座標系側に押し込むことで、探索が無効領域に入るのを防ぎ、収束性を改善できる。
3.1.1 制約付き最適化の無制約化
例えば、変数が非負でなければならない場合、指数関数などで表現して新変数を実数全域に置くと、制約違反が起きなくなる。このとき目的関数の微分は連鎖律で自動的に適切な形へ変換されるため、無制約最適化アルゴリズムがそのまま使える。
確率の単位和制約のように複数変数の関係として制約が入る場合は、正規化付き変換や専用の座標化が用いられる。これにより、制約違反の評価（罰則項）を設計する負担が軽くなることがある。
3.1.2 スケーリング設計と収束性
収束性は、目的関数の曲率と勾配のバランスに左右される。再パラメータ化で曲率の偏りを減らすと、勾配法が進みやすくなることがある。線形スケーリングは特に扱いやすく、初期化の影響も小さくなる傾向がある。
一方で、非線形変換では変換の導関数が局所的に大きくなる領域があり、更新が過剰になることがある。実装では、変換の範囲や数値的安全性（ログや割り算の引数の制限）を確かめ、必要ならクリッピングや正則化を組み合わせる。
3.2 確率推論・ベイズ推論での再パラメータ化
ベイズ推論では、事前分布と尤度から事後分布を得る。再パラメータ化は、事前分布の形状を良くしたり、数値積分やサンプリングを効率化したりするために使われる。
3.2.1 事前分布を扱いやすくする変換
事前分布がある制約を持つパラメータに対して定義されている場合、変数変換により制約を自然に満たす形で事前分布を構成できる。密度変換則に従ってヤコビアン補正を入れることで、分布の整合性が保たれる。
この結果、推定される領域での形状がなめらかになり、最適化型推定（MAP）でもサンプリング型推定でも挙動が改善することがある。
3.2.2 潜在変数モデルでの位置づけ
潜在変数モデルでは、観測と結びつく隠れた要素を持つ。再パラメータ化は、潜在変数の事後分布の形を扱いやすくするために用いられる。たとえば近似分布を置く際に、補助変数を使った座標化で自由度の調整を行う。
変分推論では、潜在変数から観測を生成する写像が微分可能であることが重要になる。再パラメータ化は、変分目的の勾配計算を安定にし、推論の学習ダイナミクスを良くする方向で設計される。
3.2.3 サンプリング効率の改善
MCMCや変分を含む推論では、探索空間での相関構造が効率を左右する。再パラメータ化により、変数間の相関が弱まり、サンプル間の有効情報が増える可能性がある。特に、尺度や位置の混ざり合いが強い場合に改善が見られることがある。
ただし、変換が複雑になりすぎると計算コストが増える。さらに、ヤコビアン項の計算負担や数値誤差も考慮する必要がある。最終的な評価は、受け入れ率、自己相関、推定誤差などの指標で行うのが一般的である。
3.3 機械学習モデルへの実装観点
深層学習などでは、再パラメータ化はモデル設計と計算グラフに直接影響する。自動微分の性質、初期化、内部表現と出力の関係を意識して設計することが実務上重要になる。
3.3.1 導関数の計算と自動微分
再パラメータ化は連鎖律により、勾配の流れを新変数側へ導く。自動微分では、変換関数が数値的に安定な形で実装されているかが重要になる。例えば、指数や対数を含む場合はオーバーフローや負値の取り扱いに配慮が必要である。
また、変換が折れ点や非微分点を持つと、勾配が不連続になり学習に影響することがある。そのため、滑らかな近似関数を使う設計も選択肢になる。
3.3.2 安定な初期化とパラメータ表現
初期化は再パラメータ化と密接に関わる。変換前の値が妥当でも、変換後のスケールが極端だと勾配が偏る。したがって、初期値は新しい座標系での分布や期待値を考えて設定するのが望ましい。
さらに、正則化項や正値制約の表現により、初期段階からモデル出力のレンジが制限されることがある。これにより学習が始まる領域が狭くなり、逆に探索がしやすくなる場合もある。
3.3.3 出力スケールと内部表現の分離
内部表現は計算に向いたスケールで持ち、出力は解釈や評価に適したスケールに戻す設計が一般的である。再パラメータ化はこの分離を行いやすくする。
たとえば内部で正規化された量として保持し、最後に元の物理量や確率解釈へ変換することで、勾配の安定化と出力の意味付けを両立できる。表現の分離は、学習時の数値挙動と評価時の解釈を別々に制御する手段になる。
4 注意点と実践上の指針
4.1 変換が導入する歪み
再パラメータ化は有益である一方、変換が作る座標上の歪みが推定や推論に影響する。特に解釈の変化や推論精度の変化は、変換形状に依存する。
4.1.1 推定量の解釈の変化
新しい変数は別の統計的意味を持つ場合が多い。そのため、最終的に得られる推定値の解釈は、変換前後の対応を明確に理解する必要がある。特に「学習で直接最適化した量」と「現象を説明する量」が異なるとき、報告値の換算を誤ると誤解が生じやすい。
さらに、同じモデルでも座標により事後分布の形状が変わるため、推定における不確実性の見え方も変わりうる。要約統計（平均、分散、分位点）のどれを重視するかを検討することが望ましい。
4.1.2 推論の精度への影響
変換によりサンプルの相関が変わり、推定精度が改善することがある一方で、別の形で悪化することもあり得る。特に変換が非線形で、ある領域で密度が急に変化する場合には、近似分布の当てはまりが悪化し、バイアスが増えることがある。
近似に基づく推論（変分など）では、変換後の目的関数がどの程度滑らかで、最適化で十分に探索できるかが鍵になる。したがって、変換は理論上の整合性だけでなく、実測の推定誤差で評価すべきである。
4.2 数値計算上の落とし穴
数値計算では、変換関数が引き起こす例外や極端値が問題になる。再パラメータ化は微分可能性だけでなく、計算範囲における安全性を同時に満たす必要がある。
4.2.1 オーバーフロー・アンダーフロー
指数関数や対数関数を含む変換では、極端な入力に対して数値が飽和したり、情報が失われたりすることがある。例えば対数の引数が0未満になれば未定義になり、指数では上限を超えると無限大になる。
対策としては、数値安定化のための変換（log-sum-expの利用など）や、クリッピング、範囲制限を設ける方法が一般的である。変換設計の段階で、想定する入力域の上限・下限を見積もることが重要になる。
4.2.2 分散増大と識別性の問題
変換でスケールが不適切になると、学習における勾配のばらつきが増え、最適化が不安定になることがある。特に推論でサンプル推定を使う場合、分散が大きいと有効な学習信号が薄れる。
また、識別性の問題は座標変換後にも現れる。可逆性が保たれていても、モデルの構造として観測から区別しにくい方向が存在することがある。この場合、変換は改善にも悪化にもなりうるため、データ量や設計（正則化、事前の工夫）と合わせて評価する必要がある。
4.3 再パラメータ化の選び方
再パラメータ化は万能ではない。制約、目的関数の曲率、そして検証設計に基づいて選ぶことが実践上の指針になる。
4.3.1 制約を満たす表現の設計
まず、パラメータが持つ条件を新変数側で自然に満たすかを確認する。正値や確率性など、破ると意味を失う条件に対しては、変換で必ず満たされる形を優先する。ただし極端な非線形によって数値が荒れる場合もあるため、実装可能性とトレードオフを評価する。
4.3.2 目的関数の曲率に合わせる
目的関数の形状に対して、変換が曲率の偏りを緩める方向に働くかを考える。勾配法の進みやすさは局所曲率とスケールに依存するため、代表的な初期点周辺での感度を確認するとよい。
また、二階情報を使う手法を想定するなら、ヘッセ行列の変化も考慮する必要がある。極端な非線形は曲率を増幅させることがあるため、導関数の大きさが暴れない範囲を目安に選ぶ。
4.3.3 検証方法（シミュレーション・対照実験）
最終的な判断は検証によって行う。シミュレーションで既知の真値がある場合は推定バイアスと分散を測り、実データでは予測性能や尤度指標、収束速度などを比較する。対照実験として、再パラメータ化なしのベースラインと並べて評価することで、改善の有無が明確になる。
また、変換によって導入されたヤコビアン補正や数値安定化が正しく動作しているかを、勾配チェックや分布一致のテストで確認すると安全である。段階的に比較し、失敗時の切り分けができる設計にすることが望ましい。