1 推定量の基本
推定量は、観測されたデータから未知の量を数値的に見積もるための統計的な規則です。統計学では、単に値を1つ出すだけでなく、その値がどのような性質を持つか、どの程度信頼できるかまで含めて扱います。実際の分析では、母平均や分散、比率、回帰係数など、さまざまな対象に対して推定量が用いられます。
1.1 定義と位置づけ
推定量は、標本から母集団の特徴を再構成するための道具です。入力は観測データであり、出力は未知の母数に関する見積もりです。記述統計の要約値と似ていますが、推定量は確率的な性質をもつ点で区別されます。
1.1.1 観測データと母数
観測データは、標本として得られた有限個の値です。一方、母数はその背後にある確率分布や集団全体を特徴づける未知の量を指します。推定量は、この両者を結びつける媒介として働きます。
1.1.2 推定量と推定値の区別
推定量は、標本を入力として定められた関数や手続きです。これに対し推定値は、実際のデータにその推定量を適用して得られた具体的な数値です。つまり、前者はルール、後者はその適用結果です。
1.2 推定対象の種類
推定量が目指す対象は一様ではありません。1つの値を求める場合もあれば、区間や関数全体を評価する準備として使う場合もあります。対象の性質に応じて、適切な推定法が選ばれます。
1.2.1 点推定の対象
点推定では、未知の母数を1つの数で表そうとします。母平均、母分散、割合、回帰係数などが典型例です。簡潔で扱いやすい反面、不確実性は別途考える必要があります。
1.2.2 区間推定の基礎となる量
区間推定では、推定量そのものが信頼区間の中心や幅の算定に関与します。標準誤差や分布の形に関する情報が重要になり、単独の数値よりも周辺のばらつきを含めた理解が求められます。
1.2.3 変数としての推定量（ランダム性）
推定量はデータに依存するため、標本抽出を繰り返すと値が変わります。この意味で、推定量は確率変数として扱われます。理論上の評価では、このランダム性を前提に特性を調べます。
2 推定量の評価基準
推定量の良し悪しは、結果の近さだけでは決まりません。平均的なずれ、散らばりの大きさ、誤差全体などを多面的に見る必要があります。評価基準は、用途やモデルに応じて使い分けられます。
2.1 不偏性とバイアス
不偏性は、標本平均的に見たとき、推定量が真の値の周りに偏らない性質を意味します。これに対してバイアスは、系統的なずれの大きさを表します。両者は、推定の公平さを考える際の基本概念です。
2.1.1 不偏推定量
不偏推定量は、期待値が真の母数に一致する推定量です。有限回の標本において完全に誤差がないことを意味するわけではありませんが、繰り返しの平均では中心がずれないという特徴があります。
2.1.2 バイアスの定義と解釈
バイアスは、推定量の期待値と母数との差です。正の値なら過大推定、負の値なら過小推定の傾向を示します。実務では、わずかなバイアスを許容して分散を小さくする選択もあります。
2.2 分散とばらつき
分散は、推定量が標本ごとにどの程度変動するかを示します。値の安定性を測る指標として重要であり、同じ母数を狙う推定量どうしを比べる際にも役立ちます。一般に、ばらつきが小さいほど再現性は高くなります。
2.2.1 分散の意味
分散は、推定量の期待値まわりの散らばりを数量化したものです。標本サイズが小さい場合やデータの変動が大きい場合には、分散も大きくなりやすい傾向があります。
2.2.2 分散と精度の関係
分散が小さい推定量は、繰り返しの標本抽出で似た値を出しやすく、安定した推定につながります。ただし、分散だけが小さくても、ずれが大きければ全体としての精度は高いとは限りません。
2.3 平均二乗誤差（MSE）
平均二乗誤差は、推定量と母数との差を二乗して平均した指標です。ずれとばらつきを同時に反映できるため、総合的な評価として広く使われます。単一の尺度で比較しやすい点も利点です。
2.3.1 MSEの分解（バイアスと分散）
MSEは、バイアスの二乗と分散の和に分解できます。この関係により、系統的なずれと不安定さの寄与を切り分けて考えられます。推定量設計では、この両者の均衡が重要です。
2.3.2 MSE最小化の考え方
MSE最小化では、誤差の平均的な大きさを最も小さくする推定量を目指します。必ずしも不偏である必要はなく、少しの偏りを許して分散を下げる方が有利な場合があります。実用上は、この折衷がしばしば合理的です。
2.4 特性の比較方法
推定量の比較では、どの指標を優先するかが重要です。単一の性質だけで優劣を決めるのではなく、対象となる問題設定や標本の大きさを踏まえて判断します。理論と実務の観点が交差する部分でもあります。
2.4.1 一般的な比較論点
比較では、不偏性、分散、MSE、計算の容易さ、頑健性などが論点になります。ある場面で優れた方法が、別の場面では不利になることもあります。そのため、条件付きの評価が不可欠です。
2.4.2 優越性（より良い推定量）の概念
優越性は、同じ対象について他の推定量より望ましい性質を持つことを意味します。たとえば、より小さいMSEやより小さい分散をもつ場合が考えられます。ただし、あらゆる基準で完全に上回る推定量は一般に少なく、比較は基準依存になります。
3 推定量の代表的な性質
推定量は、標本が増えたときにどう振る舞うかという観点でも評価されます。有限標本での性質と、大標本での近似的な性質は区別して考える必要があります。後者は理論と応用の両面で重要です。
3.1 一致性
一致性は、標本サイズが増えるにつれて推定量が真の値に近づく性質です。大規模データの分析では、とくに重視されます。長期的には正しい値へ収束するという安心感を与えます。
3.1.1 大標本での振る舞い
標本が十分に大きいと、推定量の変動は小さくなり、真の母数の近傍に集中しやすくなります。これにより、少数標本では不安定でも、データ増加に伴って安定性が高まることがあります。
3.1.2 漸近的な解釈
漸近的には、サンプルサイズを無限大に近づけたときの性質を考えます。一致性は、極限での収束として理解され、理論的な妥当性を確認する基本条件の一つです。
3.2 漸近正規性
漸近正規性は、適切に標準化した推定量が、大標本で正規分布に近づく性質です。これにより、信頼区間や検定で使う近似が組み立てやすくなります。多くの統計手法の土台となる重要な性質です。
3.2.1 漸近分布と標準化
推定量から真の値を引き、その標準偏差で割ると、分布の形を比較しやすくなります。大標本では、この標準化された量が正規分布に従うとみなせる場合が多く、理論的な扱いが簡潔になります。
3.2.2 実務的な近似
実際の分析では、正規近似を用いて区間推定や仮説検定を行うことがあります。標本が十分大きいときには有効ですが、偏りが強い場合や裾の重い分布では注意が必要です。
3.3 有限標本と漸近理論
有限標本の性質は、現実のデータ解析で直接問題になります。一方、漸近理論は、複雑な推定量の全体像を理解する助けになります。両者は対立ではなく、補完関係にあります。
3.3.1 有限標本の限界
小標本では、理論上の近似が十分に当てはまらないことがあります。期待値や分散だけでは見えない歪みも生じやすく、数値結果の解釈には慎重さが求められます。
3.3.2 漸近結果の使いどころ
漸近結果は、複雑な推定法の性質を簡潔に把握したいときに有用です。また、サンプルサイズが大きい現代的なデータ分析では、実用的な近似として広く活用されます。
4 推定量の構成と選び方
推定量は、思いつきで定めるのではなく、目的やモデルに応じて構成されます。どの基準を重視するかで、選ばれる方法は変わります。理論的な性質と計算可能性の両方が判断材料です。
4.1 推定量の作り方の流れ
推定量を設計する際には、まず何を良い推定とみなすかを明確にし、そのうえでモデルに沿って具体的な式を導きます。評価基準と仮定の整合が取れていることが重要です。
4.1.1 目的関数（評価基準）の設定
目的関数は、何を最小化または最大化するかを定めます。MSEや対数尤度、誤差の二乗和など、選択肢は複数あります。基準の置き方によって、得られる推定量の性格も変わります。
4.1.2 モデル仮定の役割
モデル仮定は、推定量の成立条件を与えます。分布の形、独立性、同分散性などの前提が、推定法の妥当性を左右します。仮定が不適切だと、見かけの性能がよくても信頼性は下がります。
4.2 点推定の代表手法
点推定には、理論的に整った複数のアプローチがあります。代表的なものとして、最尤法、モーメント法、線形推定が挙げられます。それぞれに利点があり、状況に応じて使い分けられます。
4.2.1 最尤推定に基づく推定量
最尤推定は、観測データが最も起こりやすくなるような母数を選ぶ考え方です。多くのモデルで自然な定式化ができ、漸近的な性質もよく知られています。幅広い応用を持つ代表的手法です。
4.2.2 モーメントに基づく推定量
モーメント法は、理論上の平均や分散などのモーメントと、標本モーメントを一致させて母数を求めます。計算が比較的単純で、初期的な推定に用いられることもあります。モデルによっては実用的な近似として有効です。
4.2.3 線形推定量の考え方
線形推定量は、観測値の重み付き和として表される推定量です。構造が明快で、解析しやすい利点があります。重みの設定により、分散やバイアスの調整が可能です。
4.3 単調性・バイアス補正などの工夫
実際の推定では、単純な形式だけでは十分でないことがあります。そこで、変換や補正を加えて性質を改善する工夫が行われます。理論的な正しさと実用上の安定性を両立させる発想です。
4.3.1 バイアス補正の考え方
バイアス補正は、推定量に生じる系統的なずれを修正する方法です。有限標本での偏りを小さくする目的で導入されますが、補正により分散が増えることもあります。効果は全体として判断します。
4.3.2 トレードオフの管理
推定量の設計では、偏りを減らすと散らばりが増えるなど、相反する要素が現れます。どの程度の妥協が適切かは、分析目的や許容誤差によって異なります。最終的には、理論性能と実務上の扱いやすさの折り合いが重視されます。