1 基本概念
最尤法は、観測された標本がもっとも起こりやすくなるように、統計モデルの未知パラメータを定める方法である。確率分布の形を仮定したうえで、その仮定の下でデータがどの程度整合的に現れるかを基準に推定を行う。分布推定、回帰分析、離散選択モデルなど、幅広い場面で利用される。
1.1 最尤法の定義
最尤法では、観測値を与えたときの尤度が最大となるパラメータを推定値として採用する。尤度は、パラメータを変数として見たときのデータの生じやすさを表す量であり、最大化の対象となる。実際の推定では、理論上の最大点が一意でない場合や、複数の候補が現れる場合もある。
1.2 尤度関数
尤度関数は、統計モデルの各パラメータに対して、観測データがどれだけ支持されるかを数値化したものである。確率モデルでは、同じ式が確率としても尤度としても現れるが、見方が異なる点に注意を要する。推定理論では、この関数の形が推定の性質を大きく左右する。
1.2.1 確率と尤度の違い
確率は、パラメータを固定し、データの起こり方を評価する。一方、尤度は観測データを固定し、パラメータの妥当性を比較する。数式が同じでも、何を変数とみなすかによって解釈が反転する。
1.2.2 対数尤度
対数尤度は、尤度関数の対数を取ったもので、積の形を和に変えられるため計算しやすい。最大化の位置は尤度と一致し、解析や数値計算でも扱いやすい。多くの最適化手法は、対数尤度を目的関数として用いる。
1.3 推定量と最尤推定値
推定量は、標本からパラメータを推定するための規則や関数を指す。これに対し、最尤推定値は、実際のデータにその推定量を適用して得られた具体的な数値である。理論上の推定法と、観測後に得られる結果を区別して用いる。
2 理論的性質
最尤法は、標本サイズが大きくなると良好な性質を示すことが多い。推定量の偏り、分散、収束の速さなどが重要な評価軸となる。これらの性質は、モデルの正しさや正則条件の成否にも依存する。
2.1 一貫性
一貫性とは、標本が増えるにつれて最尤推定値が真のパラメータへ近づく性質である。十分な条件が整えば、大標本の下で推定のずれは小さくなる。これにより、データ量の増加が推定精度の向上につながる。
2.2 漸近正規性
漸近正規性は、標本サイズが大きいとき、最尤推定値の分布が正規分布で近似できる性質を指す。これにより、標準誤差の計算や区間推定が実用的になる。有限標本では厳密に正規とは限らないが、大きな標本では近似が有効である。
2.2.1 フィッシャー情報量
フィッシャー情報量は、データがパラメータについてどれだけ多くの情報を含むかを表す尺度である。情報量が大きいほど、一般に推定は安定しやすい。最尤推定の分散や漸近分布と深く関係する。
2.2.2 クラメール・ラオの下限
クラメール・ラオの下限は、不偏推定量の分散に対する理論的な下限を与える。これは、与えられたモデルでどこまで精度を高められるかを示す基準である。最尤推定量は、条件が整うとこの下限に近い効率を示すことがある。
2.3 有効性
有効性は、推定量の分散が小さく、利用可能な情報を効率よく使っていることを意味する。最尤法は、大標本では高い効率を持つ推定法として位置づけられる。もっとも、有限標本では常に最良とは限らず、別の推定法が有利な場合もある。
3 計算方法
最尤法は理論だけでなく、実際に尤度を最大化する計算手順が重要である。単純なモデルでは解析的に解けるが、複雑なモデルでは反復的な数値計算法が必要になる。計算の安定性や初期値の選び方も、結果に大きく影響する。
3.1 尤度の最大化
尤度の最大化では、目的関数の形を調べ、最大値を与えるパラメータを探索する。閉じた形の解が得られる場合は直接計算できるが、多くの実用モデルでは数値的な探索が中心となる。極値の判定には、微分情報や停止条件が用いられる。
3.1.1 微分を用いる方法
微分を用いる方法では、対数尤度の1階導関数を0にする条件を解く。必要に応じて2階導関数を使い、極大点かどうかを確認する。簡単な分布では、この手順だけで最尤推定値を求められる。
3.1.2 数値最適化
数値最適化では、勾配法や準ニュートン法などを使って解を逐次更新する。解析的に解けない問題でも、計算機を用いて近似的な最大点を見つけられる。実装では、計算コストと収束の安定性の両立が課題となる。
3.2 反復計算手法
反復計算手法は、初期値から出発して推定値を少しずつ改善する方式である。各段階で尤度を増加させるよう設計されることが多い。繰り返しの途中で発散したり、別の局所解に入ったりする可能性もある。
3.2.1 ニュートン法
ニュートン法は、目的関数の1階微分と2階微分を利用して更新を行う手法である。収束が速い一方、ヘッセ行列の計算や逆行列の扱いが必要になる。初期値が不適切な場合には、安定性に注意を要する。
3.2.2 フィッシャー採点法
フィッシャー採点法は、ニュートン法の考え方を基にしつつ、期待情報量を使って更新する方法である。観測された2階微分の代わりに平均的な情報を用いるため、計算が扱いやすい場合がある。統計ソフトウェアでも広く利用される。
3.3 収束判定
収束判定では、反復計算が十分に進んだかどうかを確認する。尤度の変化量、推定値の差、勾配の大きさなどが基準として用いられる。停止条件を厳しくしすぎると計算量が増え、緩すぎると精度が不足する。
4 応用
最尤法は、分布の形を推定する場面から、複雑な回帰モデルの推定まで幅広く使われる。モデル比較や仮説検定とも相性がよく、統計解析の中心的な道具の一つとされる。理論と計算の両面で応用範囲が広い。
4.1 分布のパラメータ推定
正規分布、ポアソン分布、二項分布などのパラメータ推定に最尤法が用いられる。平均や分散、発生率や成功確率など、対象に応じた量をデータから見積もる。比較的単純なモデルでは、推定式が明示的に得られることも多い。
4.2 回帰モデルへの応用
回帰モデルでは、説明変数と応答変数の関係を表す係数を最尤法で推定する。誤差分布や応答の型に応じて、尤度の形が変化する。これにより、線形型から非線形型まで多様な枠組みに対応できる。
4.2.1 線形回帰
線形回帰では、通常は誤差が正規分布に従うと仮定し、係数を推定する。最小二乗法と最尤法は、この仮定の下で一致する。結果として、推定値の解釈や標準誤差の計算が比較的明快になる。
4.2.2 一般化線形モデル
一般化線形モデルは、応答変数が正規分布以外でも扱える拡張枠組みである。ロジスティック回帰やポアソン回帰などが代表例で、最尤法が標準的な推定手段となる。リンク関数と分布の組合せにより、多様なデータ構造に対応する。
4.3 モデル選択と検定
最尤法は、単なる推定だけでなく、複数モデルの比較にも使われる。尤度の大小やその差を基に、説明力の違いを評価できる。仮説検定の枠組みでは、帰無仮説と対立仮説の比較に役立つ。
4.3.1 尤度比検定
尤度比検定は、入れ子構造にある2つのモデルの尤度を比較する検定法である。制約のあるモデルとないモデルの適合度の差を評価し、制約の妥当性を判断する。大標本では、検定統計量の分布が既知の近似に従う。
4.3.2 情報量規準
情報量規準は、当てはまりの良さとモデルの複雑さを同時に考慮して比較する指標である。代表的なものにAICやBICがあり、過度な複雑化を抑えながらモデルを選ぶのに役立つ。最尤値を基礎に計算されるため、推定と選択が密接に結びついている。