1 最大尤度推定の基本

1.1 尤度関数の定義

1.1.1 確率モデルとデータの関係

最大尤度推定では、観測データがある確率モデルによって生成されると仮定する。モデルは、データの分布をパラメータ θ の関数として記述し、観測値が現実にどれほど起こりやすいかを数値化できる形にしておく。しばしばデータは独立同分布（i.i.d.）や、相関を含む場合はより一般の同時分布で扱われる。

1.1.2 尤度と確率の違い

「確率」は実現値に対して確率を割り当てる概念であり、変数としては観測値が動く。一方「尤度」は、観測値を固定したままパラメータを動かすことで定まる量で、同じ数式でも解釈が異なる。結果として、尤度は「どのパラメータなら、この観測が最もらしいか」を比較するために用いられる。

1.2 推定の考え方

1.2.1 「最大化」する対象の明確化

観測データ x が得られ、モデルが p(xθ)（離散なら確率、連続なら密度）で与えられるとき、尤度 L(θ)=p(xθ) をパラメータに関して最大化する θ を選ぶ。最大化は、候補 θ の集合に対して「観測が最大限に説明される」点を探す操作として理解できる。最終的に得られるのが最大尤度推定量である。

1.2.2 対数尤度の利用

実装や理論展開では対数尤度 ℓ(θ)=log L(θ) を用いることが多い。対数は単調増加関数であるため、L(θ) を最大化する θ と ℓ(θ) を最大化する θ は一致する。加えて積の形が和に変わり、微分計算や数値計算で安定性が高まる場合がある。

1.3 推定量と真のパラメータ

1.1.3 推定量（推定結果）の表現

最大尤度推定では、最大化によって得られるパラメータ値を推定量として表す。典型的には θ̂_MLE と書かれ、これは与えられた標本から計算されるランダム変数である。真の値 θ0 は推定の対象だが、推定量は標本の取り方に応じて揺らぐ。

1.3.2 パラメータ空間の考え方

推定は θ がどこまで許されるかに依存する。実数全体にわたる連続パラメータであれば、解析的に導ける場合もあるが、制約付き（例：分散が正、確率が 0〜1）では境界も候補になり得る。また、パラメータの次元が高いと局所解の問題が生じやすく、最大化は単なる「理論上の操作」ではなく探索戦略として意味を持つ。

2 具体例と導出

2.1 代表的な確率分布でのMLE

2.1.1 正規分布（平均・分散）

独立な観測 x1,…,xn が平均 μ、分散 σ^2 の正規分布 N(μ,σ^2) に従うとする。尤度は各観測の密度の積で、対数尤度を作れば μ と σ^2 に関する最大化問題になる。結果として平均の推定値は標本平均になることが多い。一方、分散は標本分散の形に結びつくが、標本サイズ n に関する割り方が不偏推定量とずれる点が実務上重要である（最大化に基づくため）。

2.1.2 二項分布（成功確率）

n 回の試行で成功数が y、成功確率が p の二項分布 Bin(n,p) を考える。観測 y に対する尤度は p^y(1-p)^(n-y) となる。対数尤度を微分し、一次条件を満たす p を求めると、推定値は y/n に一致する。ここでも p は 0〜1 の範囲にあり、境界に当たる場合の扱いが導出の解釈に影響する。

2.1.3 ポアソン分布（発生率）

観測がポアソン分布 Pois(λ) に従い、独立に n 個得られたとする。尤度は e^{-nλ} λ^{\sum xi} などの形になり、対数尤度の微分から λ の最大化が導かれる。典型的には推定値は標本平均（合計を n で割った値）になる。ポアソン分布はカウントデータのモデルとして広く利用される。

2.2 連続データと離散データ

2.2.1 連続の場合の確率密度

連続分布では確率ではなく確率密度 f(xθ) を用いる。尤度は f(xθ) の値で比較するが、密度そのものは確率ではないため注意が必要である。観測値が固定されるので、密度は「パラメータによる相対的な説明の度合い」を表す指標として機能する。

2.2.2 離散の場合の確率質量

離散分布では確率質量関数 p(xθ) が尤度として使われる。密度の代わりに確率の積が尤度になり、同様に対数尤度を使って最適化することができる。離散の場合はパラメータの制約（整数に影響する形）が入ると導出が複雑になることがある。

2.3 一般形の最適化

2.3.1 一階条件（スコア方程式）

一般に対数尤度 ℓ(θ) を θ で微分して、勾配が 0 になる点を候補として得る。これをスコア方程式（スコアが 0）と呼ぶことが多い。多変量の場合は、偏微分のベクトルをゼロにする連立方程式として表される。解が一意とは限らないため、後述の極値判定が必要になる。

2.3.2 二階条件と極値の判定

単に勾配がゼロであるだけでは最大か最小か判別できない。ヘッセ行列(二階微分行列)や、その負定性などを用いて極値の性質を確認する。特定の問題ではヘッセ行列が退化するため、通常の二次近似がうまく働かず、解の解釈や数値計算に追加の注意が要る。

3 推定量の性質

3.1 一致性と漸近性

3.1.1 漸近的に正しい値へ

整合性（一致性）は、標本数 n が増えると推定量 θ̂ が真の値 θ0 に収束する性質である。MLE は、正則性条件のもとでこの性質を満たすことが多い。直観的には、データが増えることで「最も説明力の高いパラメータ」に近づくためである。

3.1.2 漸近正規性の意味

漸近正規性とは、大標本で √n(θ̂_MLE−θ0) が正規分布に近づく性質である。分散の大きさはモデルの情報に依存し、推定量のばらつき方を定量化する基礎になる。これにより信頼区間や仮説検定が漸近近似として構築できる。

3.2 分散評価と情報量

3.2.1 フィッシャー情報量

フィッシャー情報量は、対数尤度の曲がり具合や、平均的な推定の確からしさを表す指標として用いられることが多い。直感的には、情報量が大きいほどデータがパラメータに敏感で、推定の不確実性が小さくなる。漸近理論では、推定量の分散が情報量の逆数に関係する形で現れる。

3.2.2 クラメール・ラオ下限との関係

クラメール・ラオ下限は、無偏な推定量に対する下界を与える概念である。正則な状況では、MLE が漸近的にこの下限を達成する、つまり最も効率的な側面を持つとされる。ここで効率とは「同じ情報量のもとで、最小に近い分散」を実現することを意味する。

3.3 バイアスと有限標本の注意

3.3.1 小標本での偏り

小標本では、MLE は有限標本特有の偏りを持つことがある。とくに分散のようなスケール母数で、最大化の解が不偏性からずれる例が見られる。補正により改善できる場合もあるが、一般論として大標本の漸近性に依存するため、少数データでは評価が必要になる。

3.3.2 最大化の不安定性

尤度面が平坦である、複数の極値が近い、あるいは制約境界が絡むなどの状況では、最大化が数値的に不安定になり得る。初期値依存や局所解により推定結果が変わる可能性があるため、最適化アルゴリズムの選択、収束判定、診断（プロファイルの確認など）が重要になる。

4 拡張と関連手法

4.1 制約付き最大化

4.1.1 パラメータ制約の導入方法

分散のように正値が必要、確率のように 0〜1 の範囲に制限、といった制約は現実的なモデル化に欠かせない。制約を満たすようにパラメータを再表現する方法（変数変換）や、制約付き最適化として扱う方法がある。いずれも尤度最大点の探索範囲を変えるため、結果の解釈に直結する。

4.1.2 境界解と特異点の扱い

制約により、最大点が境界（例えば p=0 または p=1、分散が極小）に張り付くことがある。この場合、通常の正則条件が崩れ、漸近分布の近似がうまく当てはまらないことがある。さらに、パラメータ化の影響で特異点が生じると、ヘッセ行列の扱いが難しくなり、標準的手順の確認が必要になる。

4.2 欠測データへの対応

4.2.1 欠測機構の考え方

欠測はランダムに起きるとは限らない。欠測がどの変数に依存するかにより、推定上の困難さが変わる。モデル側では、欠測機構を仮定することで、観測部分のみから全体の尤度に関する推論を可能にする道筋を与える。仮定の妥当性は、分析の信頼性に強く影響する。

4.2.2 EMアルゴリズムによる反復推定

潜在変数として欠測部分を含めた完全データの尤度を考えると、通常は直接の最大化が難しくなる。EM（Expectation-Maximization）では、反復の中で「欠測部分の期待値（E-step）」と「期待尤度の最大化（M-step）」を交互に行う。EとMの繰り返しにより対数尤度が単調に改善する形で推定が進むことが多い。

4.3 正則化と過学習対策

4.3.1 正則化付き尤度（概念）

高次元で柔軟なモデルを当てると、限られたデータに過剰適合しやすい。正則化付き尤度は、尤度の最大化に「大きすぎるパラメータを抑える」追加項を含め、推定の安定性を高める考え方である。ペナルティ項により、モデルは単純さも同時に尊重する方向へ誘導される。

4.3.2 構造化された推定の考え方

正則化は単なる係数の縮小にとどまらず、モデルに構造を与える役割を持つ。例えばスパース性を促す設定では、不要な要素を小さくし、解釈性を高めることがある。さらに、階層構造や制約付き形式と組み合わせることで、推定の挙動を目的に沿う形に設計できる。

4.4 ベイズ推定との関係（比較の観点）

4.4.1 事前分布がある場合の違い

ベイズ推定ではパラメータに事前分布を置き、データと合わせて事後分布を得る。MLE は事前分布を用いず、尤度最大の一点推定に重心があるのに対し、ベイズ推定は不確実性を分布として保持する。結果として、同じデータでも推定の頑健さや外れ値への反応が異なることがある。

4.4.2 推定結果の解釈差

MLE の出力は「最も尤もらしいパラメータ値」という解釈になりやすい。一方ベイズの推定は「パラメータの値がどの程度の確率であり得るか」という解釈に基づく。特にデータが少ない状況では、事前分布の影響が目に見える形で現れ、双方の推定結果の差が大きくなることがある。