1 基本概念
1.1 確率密度関数
確率密度関数（PDF, probability density function）は、連続型の確率変数が取り得る値の「起こりやすさ」を表す関数である。任意の区間に対する確率は、その区間上でPDFを積分した量により与えられる。密度推定とは、未知の母集団PDFを、手元の標本から近似する試みである。
1.2 標本分布
標本分布は、限られた観測データに基づいて作られる経験的な分布の概形である。有限個のデータから得られるため、標本サイズの不足や偶然の変動の影響を受ける。密度推定の観点では、標本の持つ散らばり方を滑らかな形に変換し、背後の生成過程の輪郭を推測することが中心になる。
1.3 推定の目的
密度推定の目的は、単にデータの分布を描くだけでなく、分布の形状に関する情報を利用可能にする点にある。具体的には、確率や累積的な頻度を評価したり、確率モデルへ組み込んだり、未知領域での挙動を推測したりする。推定器は「どの程度それらしい形にするか」を決めるため、学習可能な自由度とデータ制約のバランスが重要となる。
2 密度推定の方法
2.1 パラメトリック密度推定
パラメトリック密度推定は、分布の家族（分布族）を仮定し、その族に属するパラメータをデータから推定する方式である。表現力は仮定した分布族に依存するが、推定が安定しやすい傾向がある。反対に、仮定が不適切だと構造的な誤差が生じる。
2.1.1 正規分布による推定
正規分布は、データの集中とばらつきを平均と分散で表す典型的な分布族である。密度推定では、観測値から平均と分散を求め、それをもとにPDFを定める。単純で解釈しやすい一方で、裾の厚さや歪みといった特徴が正規分布と一致しない場合には不適合が目立つ。
2.1.2 指数分布による推定
指数分布は、非負の変数に対して減衰型の密度を与える分布である。強い仮定のもとで、適切なパラメータを推定し、密度形状を決める。減少傾向や待ち時間の概念と整合しやすい場面で利用されるが、対称性の欠如や分布の裾の振る舞いが合わないデータでは性能が落ちる。
2.2 ノンパラメトリック密度推定
ノンパラメトリック密度推定は、分布族の形を強く仮定せずに、データから直接密度の形を作る方法である。柔軟性が高い反面、データ量が十分でないと過度な揺れや不安定さが出やすくなる。そこで平滑化の度合いを制御する設計が重要になる。
2.2.1 ヒストグラム
ヒストグラムは、データ範囲をいくつかの区間に分け、各区間に含まれる観測数に基づいて密度を近似する方法である。階級幅が小さいほど細かな構造を反映しやすいが、統計的な変動の影響も増える。逆に階級幅が大きいほど滑らかになるが、ピークや曲率が鈍る。平滑化の実装上のパラメータとして階級幅が機能する。
2.2.2 核密度推定
核密度推定（KDE, kernel density estimation）は、各データ点の周りに「釣り鐘状」の重み（核関数）を置き、それらを足し合わせて密度を作る。核の幅に相当する帯域幅が平滑化の強さを決める。帯域幅が小さいと過学習気味になり、大きいと特徴が失われる。適切な選択により、標本の形状情報と統計的安定性の両立が図られる。
2.2.3 最近傍法による推定
最近傍法は、各評価点の周囲で最も近いデータ点までの距離を用い、局所的な密度を推定する発想である。評価点の近傍半径が小さいと局所構造を反映しやすく、大きいとより粗い平均的情報になる。実装上は、どの近傍個数を使うか（近傍数）などの制御が性能に影響する。
2.3 セミパラメトリック密度推定
セミパラメトリック密度推定は、分布の一部はパラメトリックに扱い、残りをノンパラメトリックにする折衷型である。仮定の強さと自由度の配分を調整することで、柔軟性と安定性を両立させることを狙う。どこを仮定し、どこを推定するかの設計は、対象データの性質に合わせて決める必要がある。
3 理論的性質
3.1 バイアスと分散
推定結果の誤差は、理想的な密度との隔たり（バイアス）と、標本の揺らぎに起因する変動（分散）に分解して考えることが多い。パラメトリック推定は仮定によりバイアスが支配的になりやすく、ノンパラメトリック推定は平滑化設定が分散を抑える役割を担う。帯域幅や階級幅といった調整は、両者のトレードオフを通じて最適点を探す問題として理解できる。
3.2 一致性
一致性は、標本サイズが十分に増えたとき、推定器が真の密度に近づく性質を指す。形式的には、どの種の距離や意味で近づくか（点wise、積分的など）により定義が異なる。密度推定では、平滑化の度合いがデータ数と一緒に変化する必要がある場合があり、一般に単純な固定設定だけでは一致性が保証されないことがある。
3.3 平均二乗誤差
平均二乗誤差（MSE）は、推定量の平均的な二乗損失を測る指標である。密度推定では、密度関数の空間上での誤差を積分して評価する形に拡張されることが多い。バイアスと分散の和として表現できることがあり、理論解析では最適化の目標として扱われる。実務でも、モデル比較の基準として有用なことがある。
3.4 帯域幅選択
帯域幅（あるいは平滑化の強さ）の選択は、密度推定の性能を左右する中心要因である。小さすぎると詳細に追随し、ノイズを密度として解釈してしまう。大きすぎると細部のピークが失われる。選択には、検証データに基づく評価や、推定誤差に基づく規準、理論的な近似に基づく指針などが用いられる。
4 応用
4.1 異常検知
異常検知では、データの通常時の分布を密度推定により表現し、推定密度が低い領域を異常候補として扱う。直感的には、めったに観測されないパターンほどスコアが悪化するように設計される。密度推定の自由度が大きい場合、通常データの変動を過度に吸収してしまい、異常と見なすべき境界が曖昧になることがあるため、平滑化設定や評価設計が重要になる。
4.2 クラスタリング
クラスタリングの前処理として密度推定が利用されることがある。例えば、密度の高い領域を山として見なし、谷に相当する境界をクラスタ分割の手がかりにする考え方がある。さらに、密度に基づく距離や類似度の構成へとつながる場合もある。密度推定の結果は、クラスタの数や境界の位置に間接的に影響する。
4.3 データ可視化
密度推定は分布の形を滑らかな曲線や面として表現するため、可視化に適している。ヒストグラムのような離散的表示よりも連続的な解釈がしやすい場合がある。特に、複数のピークや裾の挙動などを理解したいときに有効である。表示の見栄えだけでなく、平滑化条件が結果に与える意味も踏まえて読み解く必要がある。
4.4 統計モデリング
密度推定は、統計モデルの一部として組み込まれることがある。例えば、観測の尤度を密度推定に基づき近似したり、確率モデルの柔軟な事前表現として利用したりする。さらに、生成過程の仮定を緩めたい場面では、密度の形をデータに寄せることでモデルの表現力を補う。推定誤差や計算負荷の影響も設計段階で検討される。
5 評価と比較
5.1 推定精度の指標
推定精度は、密度関数そのものの近さとして評価する方法と、そこから導かれる量（確率や閾値超過率など）の正確さとして評価する方法がある。距離としては積分二乗誤差に類する尺度や、対数尤度に関係する基準が用いられることが多い。実務では、目的に直結する評価軸を選ぶことが重要である。
5.2 モデル選択
モデル選択は、推定器の種類（パラメトリックかノンパラメトリックか）や平滑化パラメータを決める作業である。検証データやクロスバリデーションによって汎化性能を見積もる方法がよく用いられる。情報量規準を利用する場合もあるが、柔軟性と過学習のバランスを踏まえて解釈する必要がある。
5.3 実装上の留意点
密度推定では計算量と数値安定性の問題が出やすい。特に核密度推定は、評価点数とデータ点数の増加に応じて計算が重くなる傾向がある。外れ値の扱い、データの次元数、スケーリング（標準化など）も結果に影響するため、前処理と検証を通じて挙動を確認するのが望ましい。乱数による揺らぎを抑える工夫や、評価の再現性も実装時の重要事項となる。