1 定義と基本概念
最尤推定（Maximum Likelihood Estimation, MLE）は、観測されたデータに基づいて確率分布のパラメータを推定する統計学の手法である。与えられたデータが特定のパラメータ値のもとで観測される確率（尤度）を最大化するようにパラメータを選ぶことで、最も「もっともらしい」推定値を得る。この手法は、ロナルド・フィッシャーによって1920年代に体系化され、現代の統計学や機械学習において広く応用されている。
1.1 尤度関数の定義
確率密度関数または確率質量関数を \( f(x;\theta) \) とし、観測された独立同一分布のデータ \( x_1, x_2, \dots, x_n \) が与えられたとき、尤度関数 \( L(\theta) \) は次式で定義される： \[ L(\theta) = \prod_{i=1}^{n} f(x_i;\theta) \] ここで \( \theta \) は推定すべきパラメータ（ベクトル）である。尤度関数はパラメータ \( \theta \) の関数であり、データが観測される確率（または密度）を表す。最尤推定値 \( \hat{\theta} \) は、この尤度関数を最大化する \( \theta \) として与えられる。
1.2 最尤推定量の性質
最尤推定量は、標本サイズが大きくなるにつれて望ましい性質を持つことが知られている。主な性質として、一致性、漸近正規性、不変性、有効性（漸近的に）が挙げられる。これらは後の節で詳述する。また、最尤推定量は十分統計量の関数として表現できる場合が多く、フィッシャーの情報量と密接に関連する。
2 数学的基礎
2.1 対数尤度関数
計算の簡便さと数値的安定性のため、尤度関数の自然対数をとった対数尤度関数 \( \ell(\theta) = \ln L(\theta) \) が用いられる。対数変換は単調増加関数であるため、最大化問題は同等である。すなわち、 \[ \hat{\theta} = \arg\max_{\theta} \ell(\theta) = \arg\max_{\theta} \sum_{i=1}^{n} \ln f(x_i;\theta) \] 対数尤度は積を和に変換するため、微分や最適化が容易になる。
2.2 スコア関数とフィッシャー情報量
スコア関数 \( S(\theta) \) は対数尤度関数の1階導関数として定義される： \[ S(\theta) = \frac{\partial \ell(\theta)}{\partial \theta} \] 最尤推定量はスコア方程式 \( S(\theta) = 0 \) の解として得られる。フィッシャー情報量 \( I(\theta) \) はスコア関数の分散であり、次式で表される： \[ I(\theta) = E\left[ \left( \frac{\partial \ell(\theta)}{\partial \theta} \right)^2 \right] = -E\left[ \frac{\partial^2 \ell(\theta)}{\partial \theta^2} \right] \] フィッシャー情報量はパラメータ推定の精度の下限を与え、クラメール・ラオの下限に関係する。
2.3 十分統計量との関係
十分統計量は、データの持つパラメータに関する情報をすべて含む統計量である。ネイマン・フィッシャーの分解定理により、尤度関数が \( L(\theta) = g(T(x);\theta) \cdot h(x) \) と分解できるとき、\( T(x) \) は \( \theta \) に対して十分統計量となる。最尤推定量は十分統計量の関数として表現できる場合が多く、これによりデータの縮約が可能となる。
3 推定の手順
3.1 導関数を用いた解析的解法
分布の種類によっては、スコア方程式を解析的に解くことができる。例えば、正規分布の平均と分散の最尤推定量は閉じた形で得られる。具体的には、正規分布 \( N(\mu, \sigma^2) \) の場合、平均の最尤推定量は標本平均、分散の最尤推定量は標本分散（不偏分散とは異なる）となる。しかし、多くの複雑なモデルでは解析解が存在しないため、数値的手法が必要となる。
3.2 数値的最適化法
3.2.1 ニュートン・ラフソン法
ニュートン・ラフソン法は、対数尤度関数の2階導関数（ヘッセ行列）を用いて逐次的に最適解を探索する手法である。更新式は以下で与えられる： \[ \theta^{(t+1)} = \theta^{(t)} - [H(\theta^{(t)})]^{-1} S(\theta^{(t)}) \] ここで \( H(\theta) \) はヘッセ行列である。この方法は収束が速いが、ヘッセ行列の逆行列計算が高コストであり、関数が非凸の場合に局所解に陥る可能性がある。
3.2.2 勾配降下法
勾配降下法は、スコア関数（勾配）のみを用いてパラメータを更新する手法である： \[ \theta^{(t+1)} = \theta^{(t)} + \eta S(\theta^{(t)}) \] ここで \( \eta \) は学習率と呼ばれる正の定数である。勾配降下法は計算が単純で大規模データに適用しやすいが、収束が遅く、学習率の調整が必要となる。確率的勾配降下法（SGD）などの変種が機械学習で広く用いられる。
3.2.3 EMアルゴリズム
EMアルゴリズム（Expectation-Maximization algorithm）は、観測データに欠損値や潜在変数が存在する場合に最尤推定を行う反復手法である。Eステップでは、現在のパラメータ推定値を用いて潜在変数の条件付き期待値を計算し、Mステップではその期待値を用いて対数尤度を最大化する。EMアルゴリズムは混合分布モデルや隠れマルコフモデルなどの推定に有効である。
4 統計的性質
4.1 一致性
最尤推定量は、適切な正則条件のもとで一致性を持つ。すなわち、標本サイズ \( n \) が無限大に近づくとき、最尤推定量 \( \hat{\theta}_n \) は真のパラメータ \( \theta_0 \) に確率収束する： \[ \hat{\theta}_n \xrightarrow{p} \theta_0 \] これは、推定値がデータが増えるにつれて真の値に近づくことを保証する。
4.2 漸近正規性
一致性に加え、最尤推定量は漸近的に正規分布に従う： \[ \sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{d} N(0, I(\theta_0)^{-1}) \] ここで \( I(\theta_0) \) はフィッシャー情報量である。この性質により、最尤推定値の信頼区間や仮説検定を漸近的に構築できる。
4.3 不変性
最尤推定量は関数の変換に関して不変性を持つ。すなわち、\( \hat{\theta} \) が \( \theta \) の最尤推定量であるとき、任意の1対1変換 \( g(\theta) \) に対して、\( g(\hat{\theta}) \) は \( g(\theta) \) の最尤推定量となる。これは、パラメータの再パラメータ化が容易であることを意味する。
4.4 有効性とクラメール・ラオの下限
クラメール・ラオの不等式は、不偏推定量の分散がフィッシャー情報量の逆数以上であることを示す： \[ \mathrm{Var}(\hat{\theta}) \geq \frac{1}{I(\theta)} \] 最尤推定量は漸近的にこの下限を達成する（漸近有効性）。したがって、大標本において最尤推定量は最も効率的な推定量の一つとみなされる。
5 応用と実践
5.1 回帰分析
線形回帰モデルでは、誤差項が正規分布に従うと仮定した場合、最尤推定は最小二乗法と一致する。一般化線形モデル（ロジスティック回帰、ポアソン回帰など）では、最尤推定が標準的な推定手法として用いられる。これにより、非正規分布の応答変数にも対応可能となる。
5.2 時系列解析
自己回帰移動平均モデル（ARMA）や状態空間モデルなどの時系列モデルにおいて、最尤推定はパラメータ推定の基本手法である。カルマンフィルタを用いた尤度計算が行われ、経済予測や信号処理などに応用される。
5.3 機械学習における損失関数
機械学習では、最尤推定はクロスエントロピー損失関数として知られる。分類問題におけるロジスティック回帰やニューラルネットワークの訓練では、負の対数尤度を最小化することでパラメータが学習される。これにより、確率的な解釈が可能となる。
5.4 生物学と疫学への応用
系統樹推定や集団遺伝学では、最尤法が系統関係の推定に用いられる。疫学では、ロジスティック回帰によるリスク因子の分析や、感染症モデルのパラメータ推定に最尤推定が広く使用される。
6 限界と注意点
6.1 局所最適解の問題
対数尤度関数が多峰性を持つ場合、数値的最適化は局所最適解に収束する可能性がある。この問題は、複数の初期値を試す、シミュレーテッドアニーリングなどの大域最適化手法を用いることで軽減できる。
6.2 モデルの特定誤り
最尤推定は、仮定した確率分布が真の分布と一致する場合に最適な性質を持つ。モデルの特定を誤ると、推定値にバイアスが生じ、一致性も失われる。モデル選択基準（AIC、BICなど）を用いた検証が重要である。
6.3 小標本におけるバイアス
小標本では、最尤推定量にバイアスが生じることがある。例えば、正規分布の分散の最尤推定量は不偏推定量と比較して小さくなる傾向がある。このような場合、バイアス補正（例：不偏分散への変換）が必要となる。
6.4 計算負荷と収束性
大規模データや複雑なモデルでは、最尤推定の計算負荷が高くなる。特に、ヘッセ行列の計算や逆行列の反復が必要な場合、収束までに多くの計算資源を要する。また、収束しない場合や数値的不安定性が生じることもある。
7 他の推定手法との比較
7.1 ベイズ推定との違い
ベイズ推定では、パラメータに事前分布を仮定し、観測データに基づいて事後分布を求める。最尤推定が点推定を提供するのに対し、ベイズ推定は分布として不確実性を表現する。また、事前分布の影響が強い場合、最尤推定とベイズ推定の結果は異なる。標本が大きい場合、両者は漸近的に一致する。
7.2 モーメント法との比較
モーメント法は、標本モーメントと母集団モーメントを一致させることでパラメータを推定する。計算が容易で初期推定に適するが、最尤推定と比較して効率性が劣る場合が多い。一方、最尤推定は分布の形を仮定する必要があるが、より効率的な推定が可能である。
7.3 一般化推定方程式
一般化推定方程式（GEE）は、尤度を完全に指定せず、平均構造と分散構造のみを仮定する準尤度手法である。最尤推定が分布全体を仮定するのに対し、GEEは分布の誤特定に対してロバストである。ただし、最尤推定の方が効率的な場合があり、特に完全なモデルが正しい場合に優れる。