1 尤度の基本概念
尤度は、観測されたデータを前提にしたとき、ある確率モデルやそのパラメータがどれほどそのデータに適合するかを表す量である。統計学では、同じデータに対して複数の仮説やモデルを比較する際の基礎として用いられる。確率と似た記号や式で表されることが多いが、視点の置き方が異なるため、意味を区別して理解する必要がある。
1.1 尤度の定義
尤度は、観測データを固定し、そのデータがあるパラメータのもとでどの程度もっともらしいかを数値化したものである。通常、確率分布の式をパラメータの関数として読み替えたものとして表現される。たとえば、独立同分布の標本が得られたとき、各観測値の確率や密度を掛け合わせたものが尤度関数となる。
1.2 確率との違い
確率は、パラメータを所与としてデータの起こりやすさを扱う。一方、尤度はデータを所与として、どのパラメータがより適合的かを比べるために用いられる。したがって、同じ数式でも、変数と固定値の役割が入れ替わる点に注意が必要である。尤度は確率のように合計して1になる必要はない。
1.3 尤度関数の考え方
尤度関数とは、観測結果を固定したうえで、パラメータを変化させたときの適合度を示す関数である。これにより、あるモデルの中でどの値がデータに最も整合的かを調べられる。統計推定では、この関数の形が分析結果を大きく左右する。
1.3.1 パラメータ空間とデータの関係
パラメータ空間とは、未知の母数が取りうる値の集合である。尤度は、この空間の各点について、観測データとの整合性を評価する。データが変われば尤度の山や谷の位置も変化し、最も適したパラメータ候補も移動する。
1.3.2 観測値を固定する見方
尤度の説明では、観測された値を既知の事実として扱う。そこから逆向きに、どの設定がその事実を生じさせやすいかを考える。この発想により、推定問題は「結果から原因を探る」形に整理される。
1.4 対数尤度
対数尤度は、尤度に対数を施した量である。積の形を和に変えられるため、計算や微分が扱いやすくなる。最尤推定や数値最適化では、対数尤度を最大化する手続きが広く採用される。
2 尤度を用いる統計手法
尤度は、推定や検定、ベイズ的更新の中核に位置する。単なる評価量にとどまらず、統計的判断を定式化するための共通基盤として機能する。異なる方法論であっても、尤度の形を通じて相互に結び付くことが多い。
2.1 最尤推定
最尤推定は、尤度を最大にするパラメータを求める推定法である。観測データを最もよく説明する値を選ぶという考え方に立ち、広範な分野で利用されている。推定対象が少数でも多数でも、モデルが定まれば適用可能である。
2.1.1 推定量の導出
最尤推定量は、尤度関数または対数尤度関数を最大化する条件から導かれる。解析的に解ける場合もあれば、数値計算に頼る場合もある。導出過程では、微分して極値条件を求める方法が基本となる。
2.1.2 標本サイズとの関係
標本サイズが大きくなると、最尤推定量は一般に安定しやすくなる。情報が増えるため、真の値に近づく傾向が強まるからである。ただし、小標本では推定のばらつきが大きく、偏りや局所的な極大値の影響も受けやすい。
2.2 尤度比検定
尤度比検定は、二つの仮説やモデルの尤度を比較する手法である。制約のあるモデルとより自由なモデルを比べ、その差が偶然の範囲を超えるかどうかを評価する。古典的な仮説検定の枠組みの中で重要な位置を占める。
2.2.1 仮説検定における役割
この検定では、帰無仮説のもとで得られる尤度と、対立仮説のもとでの最大尤度を対比する。差が大きければ、帰無仮説を支持しにくいと判断される。モデル選択の観点からも有効である。
2.2.2 検定統計量の構成
検定統計量は、通常、二つの最大尤度の比またはその対数を基に作られる。比の形は解釈しやすく、対数変換により計算しやすくなる。大標本では、分布の近似に基づいて有意性を判定することが多い。
2.3 事後分布との関係
ベイズ統計では、尤度は事後分布を形成する要素として働く。観測データから得られる情報を、事前の知識と組み合わせて更新する際の中心項となる。尤度が高いパラメータほど、観測後の信念は強まりやすい。
2.3.1 ベイズ統計における利用
ベイズ推論では、尤度は事前分布とともに事後分布を決める。観測結果が同じでも、事前の仮定が異なれば結論も変わる。尤度はデータが与える情報を担い、推論全体の客観的部分を形成する。
2.3.2 事前分布と尤度の結合
事前分布と尤度を掛け合わせることで、観測後の分布が得られる。この結合はベイズの定理に基づく。尤度は観測情報の強さを示し、事前分布はそれをどの方向に解釈するかを調整する。
3 尤度の数学的性質
尤度は単なる直感的概念ではなく、明確な数学的特徴を持つ。特に、正規化の要不要、単調変換との関係、情報理論との接点が重要である。これらの性質により、理論的解析と実践的計算の両方で扱いやすい枠組みが構成される。
3.1 正規化されない性質
確率分布は全体で積分や和が1になるよう正規化されるが、尤度はその必要がない。比較対象として相対的な大きさが分かれば十分だからである。このため、定数倍された尤度でも最大点は変わらない。
3.2 単調変換と最大化
尤度の最大化では、単調増加な変換を施しても極大点は保たれる。対数を取る操作はその代表例である。これにより、複雑な積の最大化が、より扱いやすい和の最大化に置き換えられる。
3.3 尤度比の解釈
尤度比は、二つの候補がデータに対してどれだけ相対的に支持されるかを示す。値が大きいほど、前者の説明力が高いとみなせる。絶対値よりも比較の尺度としての意味が強い。
3.4 情報量との関係
尤度は、観測がパラメータに関してどれだけ情報を与えるかという観点とも結び付く。データの形が鋭い尤度を生むとき、推定の不確かさは小さくなる傾向がある。情報理論や推定理論では、この関係が重要な役割を果たす。
3.4.1 フィッシャー情報量
フィッシャー情報量は、尤度の曲率や感度を通じて、パラメータ推定の精度を測る指標である。情報量が大きいほど、微小な変化を検出しやすい。最尤推定の理論的性質を理解するうえで欠かせない。
3.4.2 エントロピーとの比較
エントロピーは不確実性の尺度であり、尤度は観測データへの適合度を表す。両者は異なる概念だが、情報理論の文脈では相補的に扱われることがある。エントロピーが分布の広がりを示すのに対し、尤度は具体的な観測との一致を重視する。
4 尤度の応用
尤度は理論統計にとどまらず、多様な実務領域で活用されている。観測値から未知量を推定し、複数の説明の妥当性を比較する場面では特に有効である。モデル化の精度が求められる分野では、尤度に基づく方法が標準的な道具となっている。
4.1 自然科学での応用
自然科学では、実験データや観測結果をもとに理論モデルの妥当性を検討する際に尤度が使われる。誤差を含む測定値から真の値や法則を推定する場面で、とりわけ重要である。理論と観測の橋渡しを担う道具として位置づけられる。
4.1.1 物理学における推定
物理学では、粒子の軌跡、スペクトル、計測誤差などを扱う際に尤度が利用される。観測装置の不確かさを考慮しながら、未知の物理量を推定するのに適している。実験データの解釈を定量化する基盤となる。
4.1.2 生物学におけるモデル選択
生物学では、進化系統、個体群動態、遺伝的変異の説明などで尤度に基づく比較が行われる。複数の仮説のうち、どのモデルが観測結果により整合的かを判定するのに有効である。測定誤差や不完全データを含む状況でも応用しやすい。
4.2 工学での応用
工学分野では、信号や製造データの解析に尤度が広く使われる。ノイズを含む環境でも、観測から状態や異常を推定するための定式化が可能である。設計、制御、品質保証に関わる多くの工程で利用されている。
4.2.1 信号処理
信号処理では、受信データがどの信号モデルに最も適合するかを評価するために尤度が用いられる。雑音環境下での検出や復元に有効であり、最適受信や推定の理論に結び付く。観測系列の分析でも中心的な役割を果たす。
4.2.2 品質管理
品質管理では、不良率や工程状態を推定する際に尤度が役立つ。抽出検査や工程監視で得られるデータをもとに、異常の有無や変化点を判断する。統計的工程管理の理論とも深く関係している。
4.3 情報科学での応用
情報科学では、データから規則性を学ぶ機械学習や、未知のクラスを識別するパターン認識に尤度が用いられる。確率モデルに基づく学習では、観測の説明力を評価する中心的基準となる。計算手法の発展により、大規模データにも適用されている。
4.3.1 機械学習
機械学習では、モデルのパラメータを学習する際に尤度最大化が基本戦略の一つとなる。回帰、分類、生成モデルなど、多くの手法がこの考え方に依拠する。損失関数の設計にも尤度の発想が取り入れられることが多い。
4.3.2 パターン認識
パターン認識では、観測特徴がどのカテゴリに属するかを確率的に判定するために尤度が使われる。画像、音声、文字認識などで、各候補の適合度を比較する際に有効である。識別精度を高めるための基礎理論の一つである。