1 経験分布関数の定義

経験分布関数(EDF)は、独立標本 \(X_1,\dots,X_n\) から、任意の値 \(x\) 以下の観測が全体のうちどれほどの割合を占めるかを表す関数である。分布関数 \(F(x)=P(X\le x)\) を観測可能な形で置き換えたものとして扱われ、統計推測や可視化の基盤になる。

1.1 標本と経験分布関数の基本式

経験分布関数は、観測値を用いて「\(x\) 以下の標本個数」を数え上げ、その比として定義される。

1.1.1 観測値と累積確率の対応

標本の要素を \(X_i\) とし、経験分布関数を \[ \widehat{F}_n(x)=\frac{1}{n}\sum_{i=1}^{n}\mathbf{1}\{X_i\le x\} \] と定める。右辺は指示関数 \(\mathbf{1}\{X_i\le x\}\) の総和であり、\(x\) 以下に入る観測の個数を \(n\) で割った累積確率に対応する。したがって、\(\widehat{F}_n(x)\) は「分布関数に似た形」を持ちながら、実データから直接計算できる。

1.1.2 階段状(ステップ)な挙動の意味

EDF は、\(x\) を連続的に動かしても、観測値のどれかを境にしか値が変わらない。そのためグラフは階段状の曲線になる。具体的には、最小値から順に観測点を通過するたびに分子のカウントが増え、各段の高さはおおむね \(1/n\) に対応する。これは「区間に含まれる頻度」を累積した結果として理解できる。

1.2 正規化定義域の扱い

定義の要点は比(頻度の割合)であるため、正規化や不等号の扱いが厳密さに直結する。また、連続値と離散値では同じ式でも解釈が少し変わる。

1.2.1 連続値・離散値での表現

観測が連続分布に由来する場合、同一値が重複する確率は小さいため、階段の「段数」は観測点の個数にほぼ一致する。一方、離散的な値をとるデータでは同じ値が複数回現れるため、ある \(x\) で階段が複数段分まとめて上がる。形としては同じ EDF だが、跳び方の分布がデータの取りうる値の構造を反映する。

1.2.2 不等号(以下・未満)の選び方

EDF の定義には \(X_i\le x\) あるいは \(X_i<x\) のどちらを用いるかで細部が異なる。一般に累積分布関数慣習に合わせて「以下」を用いると、観測値に対する更新がその点で行われる。逆に「未満」を選ぶと、同値をまたいだ直後に上がるため、境界での値がずれる。連続分布ならこの差は実質的に小さくなることが多いが、離散データでは定義の選択が実際の数値に影響する。

2 理論的性質

EDF は単なる描画のための道具ではなく、標本サイズに応じた振る舞いが理論的に整理されている。ここでは収束性誤差の考え方、グラフから読み取れるばらつきの直感を扱う。

2.1 一致性サンプルサイズ増加による収束

標本の大きさが増えると、経験分布関数は真の分布関数に近づく。これを一致性という。

2.1.1 大数の法則との関係

各点 \(x\) に対して \(\mathbf{1}\{X_i\le x\}\) はベルヌーイ型の確率変数になり、平均は \(P(X\le x)=F(x)\) に等しい。大数の法則により、観測回数が増えるとその標本平均 \[ \frac{1}{n}\sum_{i=1}^{n}\mathbf{1}\{X_i\le x\} \] は \(F(x)\) に近づく。よって \(\widehat{F}_n(x)\to F(x)\) が期待される。さらに、ある種の意味で区間全体にわたる収束も議論される。

2.2 漸近分布と誤差評価

収束の速さや変動の大きさは、漸近分布や確率過程の観点から評価できる。EDF そのものを誤差付きの推定量とみなす発想が中心になる。

2.2.1 蓄積誤差の考え方

EDF の誤差は、累積カウントがもつランダム性の積み重ねとして生じる。\(x\) を固定すれば平均の誤差として解釈できるが、複数の \(x\) を同時に見ようとすると相関が現れる。つまり、どこまでが正確に追従するかは、単独点のブレではなく「関数全体の揺れ」として扱う必要がある。

2.2.2 代表的な漸近結果の位置づけ

多くの設定で、\(\sqrt{n}\bigl(\widehat{F}_n(x)-F(x)\bigr)\) の極限はブラウン運動型の確率過程(分布関数に応じて変換される)で近似されるとされる。これにより、観測点の密度に応じた誤差の大きさや、両側・片側の信頼帯構成の基本原理が与えられる。結果はノンパラメトリックでありながら、数学的に定式化されている点が重要である。

2.3 ばらつきとグラフの直感

理論と並行して、EDF の見た目からデータの性質を掴むことも実務で頻繁に行われる。階段の細かさや段差の大きさは標本サイズと関係する。

2.3.1 観測点数による滑らかさの変化

標本数 \(n\) が増えると、1段の増分が \(1/n\) に対応して小さくなり、階段の見た目は滑らかになる。これは頻度の離散化が細かくなることに起因し、同時に誤差の平均的な縮小も伴う。したがって、グラフの粗さは「観測の制約」の代理指標として読める。

2.3.2 母分布との乖離の観察

EDF は母分布 \(F\) の推定であるため、有限標本では必ずズレが生じる。特に裾や分布の急変領域では、データ点の少なさから階段が急になったり、平坦化したりしやすい。複数の標本で同様の乖離が繰り返される場合、母分布の形状要因か、単なる偶然かを切り分ける必要がある。

3 推定・実務での使い方

EDF は、グラフ化から分位点、検定や信頼領域設計まで幅広い用途を持つ。以下では実務的な手順として整理する。

3.1 グラフ化による分布の把握

視覚化の際、EDF は「累積の観点」から分布を捉えるため、単発のヒストグラムとは異なる情報が得られる。

3.1.1 箱ひげ図やヒストグラムとの違い

ヒストグラムは区間ごとの頻度に基づき、ビン幅の選択で形が変わりやすい。箱ひげ図は要約統計(中央値や四分位、外れ値の規則)に基づくため、詳細な構造は見えにくい。これに対して EDF は、全体を通じた累積の変化として示されるので、裾の振る舞い、分布全体の単調な伸び、同値の集まりといった特徴が連続的に追える。

3.1.2 分布形状(歪み・裾・多峰性)を見る手がかり

累積曲線は、成分の増え方の違いが勾配として現れる。例えば分布が片寄ると、ある領域での増加が早まったり遅れたりして、勾配の非対称が現れやすい。裾では観測がまばらになり、階段の密度が変化することで分布の端の厚みが示唆される。多峰性は厳密な定量には別手法が要るが、局所的な増加の仕方の揺らぎとして手がかりを得られることがある。

3.2 分位点推定への応用

分位点は「どの程度の割合までが閾値以下か」を逆に問う量であり、EDF とは相互に結び付く。

3.2.1 経験分位数の計算

経験分位数は EDF の逆関数(一般化した逆)として定義される。典型的には昇順に並べた標本 \(X_{(1)}\le\cdots\le X_{(n)}\) を用い、目標確率 \(p\) に対応する順位から選ぶ。離散化の都合で、定義に複数の実装規則があり得るが、いずれも「累積確率が \(p\) に達する位置」を基準にする点が共通する。

3.2.2 データの可視化と実務的解釈

経験分位数は、例えばリスク評価の閾値(高分位)や、典型値の基準(中位や低分位)として用いられる。EDF を重ねて見る場合、分位点は階段のある位置に対応し、どの観測がその閾値を押し上げているかが視覚的に理解しやすい。さらに、標本サイズが小さいと分位点の位置が大きく動くため、推定の不確かさも同時に考える運用が望ましい。

3.3 ノンパラメトリック手法への接続

EDF は順位統計と直結し、検定や区間推定の設計で繰り返し登場する。分布の形を仮定しにくい場合に特に有効である。

3.3.1 順位統計量との関係

昇順に並べた統計量は、各観測の相対的な位置を表す。EDF は「順位がある閾値以下かどうか」の頻度を積み上げるため、順位統計量は EDF の情報と一致する形で現れる。結果として、検定統計や信頼帯が順位ベースで組み立てられることが多い。

3.3.2 検定・信頼帯の設計への利用

母分布が特定の仮説 \(F_0\) に従うかどうかを調べる際、\(\widehat{F}_n\) と \(F_0\) の距離(最大差や全体の平均的差など)を使って評価する枠組みが構築できる。これにより、パラメトリック仮定が弱い状況でも検定が可能になる。信頼帯では、漸近理論に基づき EDF の揺れを考慮した境界を与えることで、推定誤差を明示する運用につながる。

4 関連概念と周辺トピック

EDF と同じく分布を扱う概念は多い。比較することで、情報の種類や得意領域が整理できる。

4.1 分布関数・密度推定との比較

EDF は分布関数(累積量)を直接与える。密度に相当する量を求める方法は別系統として発展してきた。

4.1.1 カーネル密度推定との位置づけ

カーネル密度推定(KDE)は確率密度の形状をスムージングにより近似する手法で、EDF とは「対象が累積か密度か」「スムージングの役割がどこにあるか」が異なる。KDE では帯域幅が重要な調整因子になるが、EDF は標本点に基づく階段として定義されるため、その性質は直接的に表れる。一方で、EDF から密度は離散的・差分的な扱いになるため、目的に応じた選択が必要になる。

4.1.2 同じデータから得られる情報の違い

同じ観測でも、累積の視点では「累積がどこで増え始め、どこで加速・減速するか」が強調される。密度の視点では「局所的にどの程度の濃度があるか」が強調される。したがって、EDF は分布全体の整合性や裾の把握に適し、密度推定はピーク位置や局所構造の探索に向く場合が多い。

4.2 代表的な拡張

EDF をそのまま使うだけでなく、重み付けや確率過程としての見方など、目的に合わせた拡張がある。

4.2.1 重み付き経験分布関数

観測に重要度がある場合、各点 \(X_i\) に重み \(w_i\) を割り当て、総和で正規化した上で累積を作る。一般に \[ \widehat{F}_{w}(x)=\sum_{i=1}^{n}w_i\,\mathbf{1}\{X_i\le x\} \] のように表され、\(\sum_i w_i=1\) が前提になることが多い。これにより、サンプリングの不均衡を補正したり、特定の区間をより重視する設計が可能になる。

4.2.2 経験過程としての見方

EDF の差分 \(\widehat{F}_n(x)-F(x)\) を \(x\) に関して同時に見たものは、確率過程として扱える。これにより、「点ごとのブレ」ではなく「関数全体の揺らぎ」の解析が可能になる。漸近極限の議論や境界の構成が自然に進むため、理論と応用を橋渡しする視点として位置づけられる。

4.3 データ前処理との関係

データの扱い方によって EDF の解釈や性能は変わり得る。特に外れ値や打ち切りのように、標本の意味が揺らぐ状況では注意が必要である。

4.3.1 外れ値や打ち切りデータへの影響の考え方

外れ値は累積曲線の右端・左端で階段の位置を押し動かし、分位点や裾の推定に影響する。EDF は頑健性を持つ場合もあるが、どの分位やどの距離尺度を使うかで敏感さが変わる。打ち切りデータ(観測が一部までしか得られない)では、観測点は分布を完全には代表しないため、単純な EDF を適用すると歪むことがある。打ち切りの仕組みに応じた推定法に置き換える必要が生じる。

4.3.2 標本依存がある場合の注意点

EDF の理論は独立同分布(i.i.d.)などを基礎に置くことが多い。時系列での相関や、層化抽出による依存があると、収束の速さや分散の評価が変わる可能性がある。実務では、データ生成過程の依存構造を確認し、必要なら適切な補正や別の理論枠で扱うことが求められる。