1 基本概念
不偏推定量は、母数を推定するための統計量のうち、同じ母集団から標本を何度も取り直したとき、その平均的な値が真の母数に一致するものをいう。推定の分野では、どの量を「適切な推定」とみなすかを考える際の基本的な基準の一つである。
不偏性は、推定値が系統的に大きすぎたり小さすぎたりしないことを示す。しかし、実際の評価ではそれだけで十分ではなく、ばらつきの大きさや予測の安定性もあわせて検討される。
1.1 推定量と母数
推定量とは、標本データから母集団の特徴を数値化するための計算規則である。対象となる母数には、母平均、母分散、比率、回帰係数などが含まれる。推定量は標本に依存するため、同じ母集団から異なる標本を取ると値も変化する。
1.2 不偏性の定義
推定量 \(\hat{\theta}\) が母数 \(\theta\) の不偏推定量であるとは、期待値が \[ E[\hat{\theta}] = \theta \] を満たすことをいう。ここでの期待値は、標本抽出を繰り返したときの平均的挙動を表す。
1.3 期待値による表現
不偏性は、推定量の期待値と母数との一致として表される。これは理論上の性質であり、単一の標本で得られる推定値が常に母数に等しいことを意味しない。したがって、不偏推定量であっても、個々の標本では誤差を含む。
1.4 不偏推定量の直感的な意味
直感的には、不偏推定量は「何度も繰り返して平均すると正しい値に戻る」推定法である。ある試行では大きめ、別の試行では小さめの値をとっても、その偏りが長期的には相殺される。統計学では、この性質を推定の公平さに近い概念として扱う。
2 不偏推定量の例
不偏推定量は、理論的な定義だけでなく、具体例を通じて理解しやすくなる。代表的なものとして、母平均や母分散、比率、回帰係数の推定がある。
2.1 母平均の不偏推定量
独立同分布の標本 \(X_1,\dots,X_n\) の標本平均 \[ \bar{X}=\frac{1}{n}\sum_{i=1}^n X_i \] は、母平均 \(\mu\) の不偏推定量である。期待値の線形性により、\(E[\bar{X}] = \mu\) が成り立つ。
2.2 母分散の不偏推定量
母分散 \(\sigma^2\) を推定する際には、標本分散に補正を加えた量が不偏推定量として用いられる。標本平均を使って計算するため、単純な平均平方偏差ではわずかな下方偏りが生じる。
2.2.1 分母を自由度で補正する考え方
不偏な母分散推定では、分母を \(n\) ではなく \(n-1\) とする。これは、標本平均を同時に推定している分だけ自由度が一つ失われるためである。結果として、補正された分散は期待値の意味で母分散に一致する。
2.2.2 標本分散との違い
「標本分散」という語は文脈によって、分母が \(n\) のものと \(n-1\) のものの両方を指すことがある。分母が \(n\) の定義は計算上は自然だが、不偏性は一般に満たさない。一方、\(n-1\) を用いる分散は不偏推定量として扱われることが多い。
2.3 比率や確率に関する不偏推定量
ベルヌーイ分布の成功確率 \(p\) に対して、標本の成功回数を \(n\) で割った標本比率は不偏推定量になる。二値データでは、この比率が母比率の自然な推定として広く用いられる。より一般の二項モデルでも同様の考え方が成立する。
2.4 線形回帰における係数の不偏性
通常の線形回帰モデルでは、誤差の平均が0であるなどの仮定のもと、最小二乗推定量は回帰係数の不偏推定量となる。これは説明変数と誤差の独立性や外生性に支えられている。仮定が崩れると、不偏性も失われる。
3 性質と評価
不偏性は重要だが、推定量の良し悪しを決める唯一の基準ではない。分散や平均二乗誤差、収束性などと合わせて評価する必要がある。
3.1 分散
推定量の分散は、標本を変えたときの値の散らばりを表す。分散が小さいほど推定は安定しているが、不偏性だけではこの性質は保証されない。実際には、不偏だが非常に不安定な推定量もありうる。
3.2 平均二乗誤差
平均二乗誤差は、推定値と真の母数の差の二乗の期待値である。これは偏りと分散を同時に反映し、 \[ \mathrm{MSE} = \mathrm{Var}(\hat{\theta}) + \mathrm{Bias}(\hat{\theta})^2 \] と分解できる。不偏推定量では偏りが0なので、MSEは分散に等しい。
3.3 一致性
一致性とは、標本サイズが大きくなるにつれて推定量が真の母数に近づく性質である。不偏であることと一致することは別の概念であり、不偏推定量でも一致しない場合がある。逆に、有限標本では偏っていても、大標本では正しい値へ収束する推定量も多い。
3.4 有効性
有効性は、同じ不偏推定量同士を比べたときに、どれだけ分散が小さいかを示す考え方である。より少ない揺らぎで母数を捉える推定量が、一般により望ましいとみなされる。
3.4.1 最小分散不偏推定量
ある母数に対して、すべての不偏推定量の中で分散が最小のものを最小分散不偏推定量という。これは理論上の理想的な対象であり、存在しても実際に求めるのが難しいことがある。
3.4.2 クラメール・ラオの下限
クラメール・ラオの下限は、不偏推定量の分散に対する理論的な下限を与える。不偏推定量の性能を評価するとき、この下限に近いほど効率が高いと考えられる。もっとも、すべてのモデルで適用できるわけではない。
3.5 不偏性と高分散の関係
不偏性を保とうとすると、推定量の形が制約され、結果として分散が大きくなることがある。したがって、不偏であることは必ずしも最良の実用性を意味しない。統計解析では、わずかな偏りを許してでも分散を抑える方が有利な場面が少なくない。
4 不偏推定量の構成
不偏推定量は、既存の推定法をそのまま使うだけでなく、理論的な手法によって構成されることがある。代表的な方法として、モーメント法や補正、十分統計量の利用が挙げられる。
4.1 モーメント法
モーメント法では、標本モーメントを母モーメントに一致させるように母数を解く。対応する推定量が不偏になる場合があるが、常にそうなるとは限らない。分布の形によっては、近似的な手法として用いられることも多い。
4.2 最尤推定量との関係
最尤推定量は、観測されたデータの起こりやすさを最大にする値を選ぶ方法である。これが不偏であるとは限らず、有限標本では偏りを持つことがある。ただし、大標本では不偏性よりも一致性が重視されることが多い。
4.3 補正による不偏化
偏りのある推定量に補正項を加え、不偏推定量へ変換することがある。たとえば、分散推定での自由度補正はその典型例である。このような調整は、推定量の期待値を母数に合わせる目的で行われる。
4.4 完全十分統計量を用いる方法
十分統計量の情報をまとめて利用し、さらに完全性の条件がある場合には、より優れた不偏推定量を導ける。これは理論統計学で重要な構成原理である。
4.4.1 ラオ・ブラックウェルの定理
ラオ・ブラックウェルの定理は、任意の不偏推定量を十分統計量に基づいて条件付き期待値をとることで、分散の小さい不偏推定量へ改良できることを示す。これにより、元の推定量より効率的な推定法が得られる。
4.4.2 レーマン・シェッフェの定理
レーマン・シェッフェの定理は、完全十分統計量に基づく不偏推定量が一意に最良となることを保証する。条件を満たせば、その推定量は最小分散不偏推定量である。理論的には非常に強い結論である。
5 理論的背景
不偏推定量の理解には、確率論と数理統計の基本原理が関係する。特に、期待値の性質や標本の生成過程に関する仮定が重要である。
5.1 期待値の線形性
期待値の線形性により、和の期待値は期待値の和になる。これを使うと、標本平均や線形結合の不偏性を簡潔に示せる。多くの不偏性の証明は、この性質に依拠している。
5.2 標本抽出分布
標本抽出分布とは、推定量が標本のばらつきによってどのような分布をとるかを表す。推定量の期待値や分散は、この分布から計算される。したがって、不偏性は抽出分布の中心位置に関する性質といえる。
5.3 不偏性の証明方法
不偏性の証明では、推定量の定義式から期待値を直接計算する方法が基本である。ほかに、対称性や既知の分布公式を用いる場合もある。変数変換や条件付き期待値を用いた証明もよく使われる。
5.4 交換可能性と対称性
標本が交換可能であるとき、個々の観測値の順序を入れ替えても推定量の性質は変わらないことが多い。対称的な推定量は計算上扱いやすく、不偏性の確認にも役立つ。標本平均がその代表例である。
6 実践上の注意
理論上の不偏性は重要だが、実務では他の要素との兼ね合いが欠かせない。データの規模やモデルの仮定によって、最適な推定法は変わる。
6.1 有限標本での偏り
標本が小さいと、推定量の偏りが無視できない大きさになることがある。理論上は小さな差でも、実務では結果の解釈に影響する。有限標本の性質は、漸近論だけでは十分に捉えられない。
6.2 不偏推定量が存在しない場合
すべての母数に対して、都合のよい不偏推定量が存在するとは限らない。モデルによっては、不偏性を満たす推定量が作れない、あるいは作れても有用でないことがある。その場合は、別の最適化基準を採用する。
6.3 不偏性と推定精度のトレードオフ
不偏性を厳密に守ると、分散や平均二乗誤差が悪化することがある。逆に、少し偏らせることで全体の精度が向上する場合もある。このため、推定では「偏りゼロ」を唯一の目標にしないことが多い。
6.4 統計解析での使い分け
探索的分析では、解釈のしやすさから不偏推定量が好まれることがある。一方、予測や高次元推定では、正則化やベイズ的手法のような別の枠組みが有力である。目的に応じて推定法を選ぶことが重要である。
7 関連概念
不偏推定量は、推定理論の中で他の概念と対比されることで理解が深まる。偏り、一致性、ロバスト性、ベイズ的視点は特に密接に関係する。
7.1 偏りのある推定量
偏りのある推定量は、期待値が母数と一致しない推定量である。必ずしも劣った方法とは限らず、分散の小ささと引き換えに高い実用性を持つことがある。多くの現代的手法は、ある程度の偏りを許容している。
7.2 一致推定量
一致推定量は、標本サイズが増えると母数に近づく推定量である。不偏性は有限標本の平均的性質、一致性は大標本での収束性を表すため、両者は独立に考える必要がある。実務では一致性のほうが重視される場合も多い。
7.3 ロバスト推定
ロバスト推定は、外れ値や仮定のずれに対して安定した結果を与えることを目指す。ロバスト性を重視すると、不偏性よりも頑健さが優先されることがある。データの汚染が疑われる状況では特に有用である。
7.4 ベイズ推定との比較
ベイズ推定では、母数を確率変数として扱い、事前分布と観測データを組み合わせて推論する。不偏性は頻度主義的な概念であり、ベイズ推定では中心的な評価基準ではない。両者は目的と解釈の枠組みが異なるが、推定精度の観点では比較可能である。
</INTERNAL_LINK_CANDIDATES> 推定量（標本から母数を計算する規則） 母数（統計モデルの未知パラメータ） 期待値（確率変数の平均的な値） 分散（値の散らばりを表す尺度） 平均二乗誤差（偏りと分散を合わせた誤差指標） 一致性（標本増加で真値へ近づく性質） 最小分散不偏推定量（不偏推定量の中で分散が最小のもの） クラメール・ラオの下限（不偏推定量分散の理論下限） モーメント法（標本モーメントを母モーメントに合わせる推定法） 最尤推定量（尤度を最大にする推定量） 十分統計量（標本情報を要約する統計量） 完全性（不偏推定量の一意性を支える性質） ラオ・ブラックウェルの定理（十分統計量で不偏推定量を改良する定理） レーマン・シェッフェの定理（完全十分統計量から最良不偏推定量を得る定理） 自由度（推定で独立に動ける情報量） 標本平均（標本値の算術平均） 標本分散（標本データの散らばりを示す量） 線形回帰（説明変数で目的変数を表すモデル） ロバスト推定（外れ値に強い推定法） ベイズ推定（事前分布を用いる推定法）