1 分布推定の基礎
1.1 確率分布と推定対象
分布推定の関心は、観測されたデータが生成された「背後の確率分布」を、サンプルに基づいて推し量る点にある。ここで分布とは、確率変数が取り得る値に対して、その出現のしやすさを体系的に与える関数（または確率質量）である。連続量なら確率密度、離散量なら確率質量で表される。
推定対象は大きく二種類に分けられる。第一は分布の形を特定したうえでの母数（パラメータ）推定であり、第二は分布関数そのもの（密度や分布関数）の形を直接近似する推定である。さらに、データからの推定は「何を知りたいか」によって評価の仕方が変わるため、推定対象の明確化は手法選択の前提となる。
1.2 データの前提条件
分布推定はデータの性質に強く依存する。誤った前提を置くと、推定量の一貫性や推定精度の保証が崩れ、評価指標も意味を失い得る。
1.2.1 独立性と同分布性
多くの基本理論では、観測が独立で同分布（i.i.d.）に従うことが仮定される。独立性は各観測が互いに影響しないことを意味し、同分布性は同じ母集団から抽出されたことを要求する。これらが成り立たない場合、尤度の積という構造が崩れたり、分散評価が過大または過小になることがある。
実務では、時系列の観測や群ごとのサンプリングなど、独立性・同分布性が弱まる状況が多い。そのときは依存構造を考慮した推定や、設計段階での補正（層化や重み付けなど）が必要になることがある。
1.2.2 有限標本とサンプルサイズ
分布推定は有限個の観測から行うため、推定結果には揺らぎ（サンプリング誤差）が残る。サンプルサイズが小さいと、特に分布関数の細かな形状（裾や山の位置、端点挙動）を安定に推定できず、過度な複雑化が起きやすい。
逆に、サンプルが増えるほど多くの手法は母集団の特性に近づくが、ノイズに敏感な手法では過学習に似た問題が発生する場合もある。したがって、推定精度と計算量、平滑化や正則化の強さの調整は、標本サイズと切り離せない。
1.3 推定の目標指標
分布推定は「どれくらい当たっているか」を測る対象が複数ある。代表的には、母数の一点推定、密度形状の復元、分布関数の再現などが挙げられる。
1.3.1 パラメータ推定
パラメトリック推定では、既知の分布族（例：正規、ガンマ、ベータなど）に対して、母数を推定する。目標は母数を一点で推定することに加えて、推定量のばらつきや信頼区間、仮説検定の基盤を作ることにも及ぶ。
このとき、推定値の良さは平均二乗誤差だけでなく、尤度に基づく適合度や、予測における損失で評価されることが多い。したがって「母数が近いか」だけでなく「データに対してどれだけ説明力があるか」が重要になる。
1.3.2 密度推定
密度推定は、連続確率変数の確率密度関数の形を推定することを目的とする。データが限られる状況では、密度のピーク付近や端の挙動が特に不安定になりやすい。滑らかさをどこまで許容するか、局所的変動をどれだけ信じるかが推定精度に影響する。
密度推定の結果は、予測やリスク評価だけでなく、異常検知のように「起こりにくさ」を指標化する用途にも利用される。
1.3.3 分布関数推定
分布関数推定は、累積分布関数（CDF）を対象とする。CDFは値域全体で単調性や範囲（0から1）という制約を満たすため、密度推定よりも安定化しやすい場合がある。また、分布関数は分位点の推定や確率の計算（例えば「ある閾値以下になる確率」）に直結する。
さらに、分布関数の推定は、独立検定や同時推定のような複合問題にも波及し、統計的推論の部品として機能する。
2 パラメトリック分布の推定
2.1 最大尤度推定
最大尤度推定（MLE）は、観測データを最も起こりやすくする母数を選ぶ枠組みである。与えられた分布族に対して、尤度が最大となる母数が推定値になる。
2.1.1 尤度関数と最尤推定量
尤度関数は、母数を固定したときに観測データが得られる確率（密度）を母数の関数として表したものである。独立観測なら尤度は各観測の密度（あるいは質量）の積で書ける。
最尤推定量は、尤度を最大にする母数として定義される。多くのケースで、解の存在や一意性、計算可能性が問題になるため、実務では数値最適化や制約付き探索が用いられることがある。
2.1.2 正則条件と漸近性
MLEの理論的性質（整合性や漸近正規性など）は、いくつかの正則条件に依存する。条件は概ね、パラメータ空間の扱い、尤度の滑らかさ、情報量の非退化などを含む。
これらが満たされると、標本が増えたときに推定量は真の母数へ近づき、推定誤差の分布は近似的に正規分布で扱えるようになる。結果として、信頼区間の構成や検定統計量の導出が容易になる。
2.2 ベイズ推定
ベイズ推定は、母数に確率分布を割り当て、データによりその確率を更新する枠組みである。推定は事後分布として表され、点推定だけでなく不確実性の全体像を扱える。
2.2.1 事前分布と事後分布
事前分布は、データを見る前に母数に対して持っている期待や制約を表す。観測データを得た後、事前分布は尤度と結合され、ベイズ則により事後分布が得られる。事後分布は、母数に関してどの値がどれほど支持されるかを確率として表現する。
事前分布の選び方は推定の性質を大きく左右するため、弱情報型の設定から、領域知識に基づく強い制約まで、目的に応じて調整される。事後分布が正確に計算できない場合には近似手法が必要になる。
2.2.2 予測分布による評価
ベイズの特徴は、母数の不確実性を織り込んだ予測分布を直接扱える点にある。予測分布は、事後分布で母数を平均することで得られ、新しい観測の分布を「推定された不確実性込み」で表す。
この予測分布に基づいて、将来データの確率を評価したり、予測性能を比較したりできる。モデル選択でも、事後予測に対する適合度を基準にすることが多い。
2.3 推定の診断と妥当性確認
推定が妥当かどうかは、数値結果の良さだけでなく、前提や近似の質に依存する。診断はモデルの誤設定（ミスペシフィケーション）を早期に発見するために重要である。
2.3.1 近似の妥当性（モデル化の影響）
パラメトリック推定では、データ生成過程を特定の分布族で近似する。分布族が現実を十分に表していない場合、母数推定は一見安定でも、予測や解釈で体系的なズレが生じる。
診断では、推定された分布と観測データの整合性を点検するだけでなく、残差の構造や端点での乖離の有無を確認することが多い。必要に応じて、より柔軟な分布族や、ノンパラメトリック推定への切替が検討される。
2.3.2 残差・適合度の見方
適合度評価は、予測誤差の性質を観察することから始まる。残差の分布や時系列依存の有無、分散の偏り（ヘテロスケダスティシティ）などは、モデルの不足を示す手がかりになる。
適合度の指標としては、対数尤度、情報量基準、各種検定統計量などが用いられる。さらに、グラフによる検査（確率プロットやヒストグラムとの重ね合わせなど）も、局所的なズレの把握に役立つ。
3 ノンパラメトリック分布の推定
3.1 カーネル密度推定
カーネル密度推定（KDE）は、有限個の観測点から連続的な密度関数を構築する手法である。各データ点の周りに「山」を置き、それらを重ね合わせることで全体の密度を得る。
3.1.1 平滑化とバンド幅
KDEではバンド幅（平滑化の度合い）が中心的な役割を持つ。バンド幅が小さいと各データ点の影響が強くなり、密度は細かい凹凸を強調する。一方、大きすぎるとピークが潰れて全体がなだらかになり、特徴が失われる。
カーネル関数は典型的には対称で正値の関数として選ばれ、主にバンド幅の調整で形が決まる。バンド幅の選択は、推定の品質を決める要素であり、交差検証や経験則に基づく最適化が行われる。
3.1.2 バイアスと分散のトレードオフ
KDEの誤差は、平滑化に伴うバイアスと、有限標本に起因する分散の和として理解できる。バンド幅を小さくすると分散は増え、バイアスは減る。逆に大きくするとバイアスは増え、分散は減る。
このトレードオフの存在により、単に密度の見た目が滑らかかどうかでは判断できない。推定誤差の最小化の観点からバンド幅を選ぶ必要があり、評価は損失関数や外部検証で行うことが多い。
3.2 ヒストグラム型推定
ヒストグラム型推定では、値域を区間に分割し、各区間に入る観測の割合から密度を近似する。カーネル推定と比べて仕組みが直感的であり、計算も容易である。
3.2.1 ブィン幅の選択
ヒストグラムの解像度はビン幅に大きく左右される。細かすぎるビンは少数サンプルで区間割合を見積もるため変動が大きくなり、粗すぎるビンは分布の局所構造を平均化してしまう。
そのため、ビン幅はデータ量に合わせて選ぶ必要がある。自動選択の基準や、目的（可視化か、密度評価か）に応じた調整が用いられる。
3.2.2 堅牢性と解像度
ヒストグラムは外れ値に対して必ずしも脆弱ではないが、ビン境界の位置によって形が変わるという性質がある。境界付近の観測が少し動くだけで別区間に移り、見た目の変化につながり得る。
その一方で、局所的な形状を過度に仮定せずに見える化できる点が利点になる。目的が分布の大まかな形の把握や説明にある場合、ヒストグラムは実用上の選択肢となる。
3.3 分布関数の推定
分布関数（CDF）を推定する方法は、密度よりも安定して単調性を担保しやすい。代表的には実現値ベースや、統計的結合に基づく推定がある。
3.3.1 実現値ベースの推定
実現値ベースの推定では、観測値の順序を用いて累積確率を構成する。典型例として、各閾値に対して観測のうちその閾値以下の割合を計算し、CDFを段階関数として得る方法が挙げられる。
この種の推定は外挿ではなく内挿に関わるため、確率の解釈が直感的である。特に分位点の評価や確率計算の基礎として扱いやすい。
3.3.2 独立検定と結合推定
分布関数推定は、複数の変数の関係を検討する場面にも接続する。独立性の検定では、同時分布や周辺分布から作られる量を用いて、独立仮説からの乖離を測る。
結合推定は、複数要素の依存構造を含めて同時分布や分布関数を扱う方向性である。ここでは次元の増加が難しさの要因となるため、推定器の設計や正則化の考え方が重要になる。
4 性能評価とモデル選択
4.1 適合度評価指標
推定の良さは、モデルが観測データをどの程度説明できるかで測られる。指標は目的（推定、予測、解釈）により選択が変わる。
4.1.1 尤度・対数尤度
尤度は観測がモデルから生成される確率（密度）の大きさを表し、最大化の基準として自然に現れる。実装上は数値の安定のため対数尤度が用いられることが多い。
対数尤度はモデル比較に便利だが、自由度の増加により過度に高くなり得る。したがって、単独の比較だけでは過学習を見逃す可能性があり、補助的な指標と併用するのが一般的である。
4.1.2 情報量基準
情報量基準は、データへの適合度とモデルの複雑さを同時に評価する考え方に基づく。典型的には、対数尤度に対してパラメータ数に比例する罰則項を加える形式をとる。
これにより、複雑なモデルが必ずしも有利にならないように調整される。推定した母数の解釈や、次に予測へ進む段階での選択に役立つ。
4.2 予測性能の評価
分布推定の結果は予測へ応用されることが多い。したがって、訓練データへの適合だけでなく、新しいデータでの振る舞いを評価する必要がある。
4.2.1 検証データとホールドアウト
ホールドアウト法ではデータを分割し、一部を検証用として保持する。訓練で得た推定器を検証データに適用し、予測誤差や確率予測の良さを計測する。
この方法は直感的で実装もしやすいが、分割の仕方により結果がぶれることがある。データ量が限られる場合には、別の分割戦略も検討される。
4.2.2 交差検証の考え方
交差検証は、複数の分割を行い、それぞれで得た性能を平均することで、分割依存のばらつきを抑える。特にk分割交差検証では、各サイクルで異なる部分が検証に使われる。
予測性能の比較に加え、バンド幅やビン幅のような調整パラメータの選定にも用いられることが多い。評価の安定性と計算量のバランスを考慮して設計する。
4.3 不確実性の表現
推定結果には誤差が含まれるため、不確実性をどのように表現するかが実務上の重要課題となる。区間推定や確率的な表現は、意思決定でのリスク管理に直結する。
4.3.1 信頼区間と区間推定
信頼区間は、ある手続きに従えば反復実験の長期的な頻度として所望の包含率が得られる、という考え方に基づく。推定されたパラメータや分位点について、単一点ではなく範囲として示すことで解釈の幅が与えられる。
区間の幅は標本サイズやモデル仮定、推定量の分散に左右される。過度に狭い区間は前提の妥当性に依存しており、過度に広い区間は有用性が落ちるため、適切な手続き選択が必要になる。
4.3.2 ベイズ的な不確実性（信用区間の考え方）
ベイズ的枠組みでは、事後分布に基づいて信用区間が構成される。信用区間とは、事後確率として指定した割合だけ母数がその区間に入る、という意味づけを持つ。
同じ「区間」でも頻度論の信頼区間と解釈が異なるため、意思決定の文脈に合わせて選択が求められる。事後分布の形状が非対称な場合には、単純な等尾型よりも、確率質量を均等にする区間設計が有用になる。