1 基本概念
尤度関数は、観測済みのデータを固定し、そのデータが与えられたもとで母数の候補を比較するための関数である。統計学では、同じ観測値でも母数の値によって「どの程度よく説明できるか」が異なるため、この考え方が推定や検定の出発点となる。確率分布を未来の結果の記述に使うのに対し、尤度は既に得られた標本を手がかりに母数を評価する点に特徴がある。
1.1 定義
尤度とは、ある確率モデルの下で観測データが得られたとき、母数を変数としてそのデータの相対的な適合度を表す量である。たとえば、確率密度関数や確率質量関数をデータの値に対してではなく、母数の側に見立てることで得られる。絶対的な確率ではなく、母数間の比較を目的とするため、数値の大小は「どの母数がより支持されるか」を示す。
1.2 確率との違い
確率は、母数が与えられたときにデータが起こる見込みを表す。一方、尤度はデータが与えられたときに母数がどれほど妥当かを評価する。両者は同じ式から導かれることがあるが、解釈は逆向きである。したがって、尤度を確率のように「合計して1になる量」とみなすのは適切ではない。
1.3 母数とデータの関係
尤度関数では、データは固定された観測結果として扱われ、変化するのは母数である。この立場により、標本平均や標本分散などの情報を用いて、未知の母数を推定する議論が可能になる。母数が少数の場合でも、データの構造が複雑であれば尤度の形は多様になりうる。
2 数学的性質
尤度関数は、確率モデルの形式に依存しつつ、いくつかの一般的な性質をもつ。離散型か連続型かによって表現は異なるが、いずれの場合も母数比較のための量として扱われる。統計理論では、尤度の積、対数変換、比の形が頻繁に利用される。
2.1 離散型の場合
離散型モデルでは、尤度は確率質量関数を母数の関数として見たものに等しい。たとえば、二項分布で成功回数が観測されたとき、その回数が与えられたもとで成功確率ごとの尤度を計算できる。観測値が同じでも、母数が変われば尤度の値は変化する。
2.2 連続型の場合
連続型モデルでは、尤度は確率密度関数を母数の関数として解釈したものになる。密度は一点の確率そのものではないため、尤度も「その値が起こる確率」ではなく、モデルの当てはまりを示す指標として理解する必要がある。実務では、複数観測の密度を掛け合わせた形が用いられることが多い。
2.2.1 確率密度との関係
確率密度は、区間内に値が入る確率を与えるための補助量であり、点ごとの値自体は確率ではない。尤度はこの密度を母数に関して読み替えたもので、単位の取り方や正規化の影響を受けうる。したがって、密度の高さと確率の大きさを直接同一視するのは正しくない。
2.2.2 尤度の尺度変換
尤度は、定数倍を施しても母数間の相対比較は変わらない。さらに、対数尤度への変換は積を和に変え、解析や数値計算を扱いやすくする。統計解析では、比や差の形に変えることで、極値の探索や検定統計量の構成が容易になる。
2.3 尤度関数の最大化
尤度関数を最大にする母数を求める操作は、最も標本をよく説明する値を探す過程である。一般に、単純な代数処理で求まる場合もあれば、数値最適化が必要な場合もある。複数の極大点が存在するモデルでは、解の選択に追加の基準が求められることがある。
3 推定への応用
尤度の考え方は、統計的推定の中心に位置する。未知母数の候補を比較し、観測結果に最も整合的な値を選ぶという発想は、多くの手法に共通している。仮説の比較、区間推定、モデル選択にも広く応用される。
3.1 最尤法
最尤法は、尤度を最大にする母数を推定値として採用する方法である。観測データを最もよく再現する母数を選ぶという直観に基づき、幅広い分布族で用いられる。推定問題を単一の最適化問題に置き換えられる点が利点である。
3.1.1 最尤推定量
最尤推定量は、尤度を最大化する母数値である。標本サイズが大きいと、しばしば真の母数に近づく性質をもつ。計算の容易さと理論的な良性により、実証研究で最もよく使われる推定量の一つとなっている。
3.1.2 対数尤度
対数尤度は、尤度の対数を取った量で、積の構造を加法に変換できる。これにより、微分による最適化や数値計算が安定しやすくなる。最大化の位置は元の尤度と一致するため、理論上の情報を失わずに扱いやすさを高められる。
3.2 尤度比
尤度比は、二つの母数値または二つの仮説に対する尤度の比である。どちらのモデルがデータをよりよく説明するかを比較する際に用いられる。値が大きいほど、分子に置かれた仮説や母数が相対的に支持される。
3.2.1 尤度比検定
尤度比検定は、制約付きモデルとより一般的なモデルの尤度を比べて、制約の妥当性を調べる方法である。帰無仮説のもとで尤度の低下が大きければ、制約がデータと合わないと判断される。多くの古典的検定法と深い関係をもち、漸近的には標準的な分布に従う場合がある。
3.2.2 信頼区間との関係
尤度に基づく信頼区間は、推定値の周辺で尤度が十分に高い母数範囲として構成される。尤度比に基づく区間は、対称的な誤差仮定に依存しないことがあり、非線形モデルでも有用である。点推定だけでは表せない不確実性の幅を、比較的自然に記述できる。
3.3 情報量基準
情報量基準は、尤度とモデルの複雑さを組み合わせて、複数モデルを比較する枠組みである。単に当てはまりが良いだけではなく、過剰な自由度を抑えることを重視する。推定結果の選択や予測性能の検討に広く使われる。
3.3.1 赤池情報量規準
赤池情報量規準は、対数尤度に複雑さへの罰則を加えた指標である。小さい値ほど望ましいとされ、候補モデルの相対比較に向く。予測誤差の近似的評価として解釈されることも多い。
3.3.2 ベイズ情報量規準
ベイズ情報量規準は、尤度に加え、パラメータ数に応じたより強い罰則を与える指標である。標本数が増えると、複雑なモデルに対して慎重な選好を示しやすい。変数選択やモデル絞り込みの場面でよく参照される。
4 理論的な拡張
尤度の概念は、単なる計算手段にとどまらず、統計学の解釈原理や理論的性質とも結びついている。条件付き情報の扱い、変換に対する安定性、標本サイズが大きい場合の挙動などが重要である。これらは、尤度を基礎にした推論の正当化を支える。
4.1 尤度原理
尤度原理は、観測データが与えられたなら、推論は尤度の形だけに依拠すべきだとする考え方である。観測されなかった結果の可能性を直接持ち込むより、実際に得られた標本に基づく比較を重視する。頻度論とベイズ的見方の橋渡しとして言及されることが多い。
4.2 条件付き尤度
条件付き尤度は、ある条件や付随情報が与えられたもとで構成する尤度である。不要なばらつきや実験計画上の制約を取り除き、関心ある母数に焦点を当てるために使われる。特定の統計量を条件づけることで、計算や解釈が簡潔になる場合がある。
4.3 尤度関数の不変性
尤度関数は、母数の再パラメータ化に対して本質的な比較関係を保つ。つまり、別の変数で表しても、元の母数の順位関係や極大点の位置は対応している。これにより、推定結果を別の尺度で表現しても、中心的な結論は維持されやすい。
4.4 漸近理論
漸近理論は、標本サイズが大きくなったときの尤度に基づく推定や検定の性質を扱う。有限標本では複雑でも、大標本では扱いやすい近似が成り立つことが多い。尤度推論の有効性を支える重要な理論的土台である。
4.4.1 一致性
一致性とは、標本サイズの増加に伴って推定量が真の母数へ近づく性質である。最尤推定量は、適切な条件のもとでこの性質を示すことが多い。データが増えるほど推定が安定するという直観を、数学的に裏づける役割を果たす。
4.4.2 漸近正規性
漸近正規性は、十分大きな標本のもとで推定量の分布が正規分布で近似できる性質である。これにより、標準誤差の評価や区間推定が容易になる。尤度に基づく推定法が実務で広く利用される背景には、この近似の有用性がある。
</INTERNAL_LINK_CANDIDATES> 尤度比（2つのモデルや母数の尤度を比較する量） 最尤法（尤度を最大にする母数を求める推定法） 対数尤度（尤度の対数を取った扱いやすい関数） 最尤推定量（最尤法によって得られる推定値） 尤度比検定（尤度比を用いて仮説を判定する検定法） 信頼区間（母数の不確実性を範囲で表す区間） 赤池情報量規準（当てはまりと複雑さを調整して比較する指標） ベイズ情報量規準（モデル選択に用いる罰則付き指標） 尤度原理（推論を観測データの尤度に基づける考え方） 条件付き尤度（条件を与えた上で構成する尤度） 再パラメータ化（母数を別の変数で表し直すこと） 漸近理論（標本が大きいときの性質を扱う理論） 一致性（推定量が真の値に近づく性質） 漸近正規性（大標本で正規分布近似が成り立つ性質） 確率密度（連続分布で確率を区間に割り当てる関数） 確率質量関数（離散分布で各値の確率を与える関数） 仮説検定（データに基づいて仮説の妥当性を調べる手法） 標準誤差（推定量のばらつきの大きさを表す量） モデル選択（複数の統計モデルから適切なものを選ぶ過程） 二項分布（成功回数を扱う代表的な離散分布）