1 定義
フィッシャー情報量は、未知パラメータをもつ確率モデルについて、そのパラメータを観測からどれだけ鋭く識別できるかを数量化する指標である。分布がパラメータの変化に敏感であるほど値は大きくなり、逆に変化に鈍感であれば小さくなる。推定理論では、推定の難しさを表す尺度として用いられる。
1.1 確率分布による定義
確率密度関数または確率質量関数を \(p(x;\theta)\) とすると、単一のパラメータ \(\theta\) に対するフィッシャー情報量は、通常、分布の勾配の二乗平均として定義される。これは、観測値 \(x\) が与えられたときに、パラメータの微小な変化が分布に与える影響を測る形になっている。
1.2 対数尤度を用いた定義
対数尤度 \(\log p(x;\theta)\) を使うと、フィッシャー情報量はその \(\theta\) に関する微分の二乗の期待値として表せる。実際の計算では、尤度関数の形が扱いやすいため、この表現がよく利用される。尤度の傾きが急であるほど、データはパラメータを強く制約する。
1.3 期待値としての表現
正則条件が満たされる場合、フィッシャー情報量はスコア関数の分散としても書ける。スコア関数とは、対数尤度をパラメータで微分した量であり、その平均はしばしば零になる。このため、情報量は「スコアの揺らぎの大きさ」と見なせる。
1.4 多変量パラメータの場合
パラメータがベクトル \(\boldsymbol{\theta}\) のとき、フィッシャー情報量は行列で表される。各成分の相互依存も含めて記述するため、対角成分だけでなく非対角成分も重要である。この行列はフィッシャー情報行列と呼ばれ、推定の精度やパラメータ間の結びつきを分析する際の基盤となる。
2 基本的性質
フィッシャー情報量には、推定問題を理解するうえで有用な一般的性質がいくつかある。これらは、モデルの構造やパラメータの取り方に応じた振る舞いを整理するのに役立つ。
2.1 非負性
フィッシャー情報量は常に非負である。二乗平均として定義されるため、負の値を取ることはない。情報が大きい場合は、観測がパラメータの違いをよく区別できることを意味する。
2.2 加法性
独立な観測が複数あるとき、全体のフィッシャー情報量は各観測の寄与の和になる。したがって、標本数が増えるほど総情報は増大する。これは、大きなデータセットほど一般に推定精度が向上することを示す基本的な性質である。
2.3 再パラメータ化に対する変換
パラメータを別の変数に置き換えると、フィッシャー情報量も対応する変換を受ける。単なる数値の置換ではなく、変数変換のヤコビアンが関与するため、情報量の表現は座標系に依存する。情報幾何では、この性質が重要な役割を果たす。
2.4 正則条件の下での等価な表現
十分な滑らかさや積分と微分の交換が許される条件のもとでは、フィッシャー情報量には複数の同値な表式が存在する。対数尤度の二階微分の期待値としても表せるが、これは一階微分の二乗平均と一致する。こうした等価性は、理論的な導出と実務的な計算の双方で便利である。
3 推定理論との関係
フィッシャー情報量は、統計的推定の限界や性能評価を考える際の中心的な概念である。特に、どの程度まで誤差を小さくできるかを論じるときに不可欠となる。
3.1 クラメール・ラオの不等式
クラメール・ラオの不等式は、任意の不偏推定量の分散に下限を与える。フィッシャー情報量が大きいほど、この下限は小さくなるため、より高精度な推定が理論上可能になる。逆に、情報量が小さいモデルでは、正確な推定は困難である。
3.2 最尤推定との関係
最尤推定は、観測データの尤度を最大化することでパラメータを求める方法であり、フィッシャー情報量と深い関連をもつ。尤度の形が鋭いほど最尤推定は安定しやすく、その鋭さを定量化するのが情報量である。したがって、推定の信頼性を分析する際の自然な指標となる。
3.3 効率性と漸近的性質
推定量がクラメール・ラオの下限に近づくとき、それは効率的であると呼ばれる。多くの標準的推定法は、大標本のもとで漸近的にこの性質を示すことがある。フィッシャー情報量は、そのような漸近理論の中心に位置する。
3.4 推定量の分散下限
推定量の分散がどこまで小さくなりうるかを考えるとき、フィッシャー情報量は理論的な基準を与える。これは、単なる経験的な誤差評価ではなく、モデル自体が許す限界を表す。特に、データの量や質を比較する場面で有用である。
4 応用と関連分野
フィッシャー情報量は、統計学にとどまらず、さまざまな学問領域で応用されている。情報の扱い方を統一的に記述できるため、理論と実践の両面で幅広く利用される。
4.1 情報幾何
情報幾何では、確率分布の族を多様体として扱い、その上の計量としてフィッシャー情報行列を用いる。これにより、統計モデルの空間的構造や、パラメータ変換に対する不変性を幾何学的に理解できる。距離や曲率の概念とも結びつく。
4.2 統計物理学
統計物理学では、系の状態分布の感度やゆらぎを記述する際に関連概念として現れる。温度や外場のような制御変数に対して、分布がどの程度変化するかを調べる道具として有用である。相転移の近傍では、情報量が大きく変動することがある。
4.3 信号処理
信号処理では、ノイズのある観測から信号パラメータを推定する際に使われる。到来方向、振幅、周波数などの推定精度を評価する基準として有効である。センサー設計や観測条件の比較にも役立つ。
4.4 ベイズ統計との関連
ベイズ統計では、事前分布と尤度を組み合わせて推論を行うが、フィッシャー情報量は尤度の局所的な鋭さを示す。事後分布の集中度や近似法の精度評価に関係し、漸近的な解析ではしばしば重要になる。情報の蓄積を記述する補助的な指標として位置づけられる。
5 具体例
具体的な分布でフィッシャー情報量を計算すると、概念の意味がより明確になる。分布ごとに値の形は異なるが、いずれも推定のしやすさを反映している。
5.1 正規分布
平均 \(\mu\) を未知とし、分散が既知の正規分布では、フィッシャー情報量は標本のばらつきと分散に依存する。分散が小さいほど観測は平均を精密に示すため、情報量は大きくなる。正規モデルは、最も基本的な例として広く参照される。
5.2 ベルヌーイ分布
ベルヌーイ分布では、成功確率 \(p\) に関する情報量を明示的に求められる。確率が 0 や 1 に近づくと、変化の余地が小さくなるため、情報の構造も特徴的に変わる。二値データの推定でよく用いられる代表例である。
5.3 ポアソン分布
ポアソン分布では、平均到着率に対する情報量が問題となる。観測回数や平均値の大きさに応じて、推定の精度が変化する。待ち行列や事象カウントのモデルでは、自然な解析対象である。
5.4 指数分布
指数分布では、率パラメータの推定に対する情報量が簡潔な形で表される。観測時間が長いほど情報が蓄積しやすく、推定誤差は減少する傾向にある。寿命解析や待ち時間のモデルで基本例として扱われる。