特徴関数

1 特徴関数の概観

1.1 「特徴」とは何か

特徴関数における「特徴」は、確率分布の性質を要約する数式上の写像、という意味で用いられる。分布そのものは無限個の確率（例えば任意の区間への確率）によって与えられるが、特徴関数は分布に由来する情報を、引数（周波数パラメータ）の関数として再表現する。これにより、分布の変換や合成に伴うふるまいが解析しやすくなる。

1.2 確率論での特徴関数の位置づけ

確率論では、特徴関数は分布を一意に定める道具として位置づけられる。特定の確率変数 \(X\) に対し、複素指数関数を用いた期待値として定義されるため、線形性や積・畳み込みのような演算と整合しやすい。とくに独立性の判定や、和の分布（畳み込み）の取り扱いで、分布側の演算を特徴関数の側の積へと写像する利点がある。

1.3 用語の混同に注意する点

「特徴関数」という語は、確率論以外の文脈でも現れる。機械学習では特徴量（feature）や特徴量写像、あるいは核（カーネル）に関連する関数が「特徴関数」に呼ばれる場合がある。一方、確率論の特徴関数は確率分布を特徴づける分布の写像であり、定義と性質が異なる。混同を避けるには、話題が「確率分布の同定」なのか「データの表現」なのかを確認するのが基本になる。

2 確率論における特徴関数

2.1 定義

2.1.1 一般の確率変数

#### 実数版の定義と解釈

確率変数 \(X\) に対する（実数版の）特徴関数 \(\varphi_X(t)\) は \[ \varphi_X(t)=\mathbb{E}\left[e^{itX}\right] \] で定義される。ここで \(i\) は虚数単位、\(t\) は実数のパラメータである。指数関数の位相因子 \(e^{itX}\) を確率で平均化することにより、分布に関する情報が \(t\) の関数として集約される。

直観的には、\(t\) を周波数のように捉えたとき、\(e^{itX}\) は位相回転として作用する。特徴関数は、その位相回転が確率的にどの程度整合しているかを平均した量とみなせるため、分布の形状がさまざまな \(t\) での振る舞いとして現れる。

2.1.2 複素数・ベクトルの場合

複素数版では、指数に複素パラメータを入れた \(\mathbb{E}[e^{zX}]\) 型の関数が議論されることがあるが、期待値の存在領域（収束条件）が問題になる。一般に複素指数は大きさを持つため、全ての \(z\) で有限とは限らない。

ベクトル値の確率変数 \(X\in\mathbb{R}^d\) の場合は、内積を用いて \[ \varphi_X(t)=\mathbb{E}\left[e^{i\, t^\top X}\right]\quad (t\in\mathbb{R}^d) \] と定義する。これにより、各方向への射影に対応する特徴が同時に扱える。

2.2 基本性質

2.2.1 存在条件と連続性

特徴関数は、通常の確率変数 \(X\) について（\(\mathbb{E}\) が定義される範囲では）少なくとも一様に有界に定義できる。理由は \(	e^{itX}	=1\) であるため、絶対値を考えると期待値が発散しない。したがって特徴関数は広い条件下で常に存在し、さらに \(t\) に関して連続である。実際、位相因子の連続性と有界収束の議論によって、滑らかな挙動が導かれることが多い。

2.2.2 正定値性

特徴関数は正定値（positive definite）の性質を持つ。より具体的には、任意の有限集合 \(\{t_1,\dots,t_n\}\) と複素数係数 \(\{c_1,\dots,c_n\}\) に対し \[ \sum_{j=1}^n\sum_{k=1}^n c_j \overline{c_k}\,\varphi_X(t_j-t_k)\ge 0 \] が成り立つ。これは特徴関数が単なる関数ではなく、確率測度に結びついた「整合的なカーネル」として働くことを意味し、一意性定理や逆問題の基盤にもなる。

2.2.3 既知の変換則（シフト・スケール）

確率変数の線形変換に対する特徴関数の振る舞いは整理されている。例えば \(Y=X+a\)（シフト）なら \[ \varphi_Y(t)=e^{ita}\varphi_X(t) \] となる。スケール \(Y=bX\)（\(b\in\mathbb{R}\)）では \[ \varphi_Y(t)=\varphi_X(bt) \] が成立する。複数の線形変換を重ねた場合も同様に追跡でき、標準化（平均0・分散1への調整）などの操作が特徴関数の変形として理解できる。

2.3 統計量との関係

2.3.1 モーメントとの結びつき

特徴関数はモーメントと結びつく。一般に \(X\) が十分な次数までモーメントを持つとき、特徴関数の導関数を \(t=0\) で評価することでモーメントが得られる。たとえば \[ \varphi_X^{(n)}(0)=\mathbb{E}\left[(iX)^n\right] \] の形が現れる（存在条件のもとで）。この関係は、分布の「平均的な量」を特徴関数の近傍から読み取るための道具になる。

ただし、モーメントが存在しない分布では、この導関数による読み取りが直接には成立しないことがある。したがってモーメントと特徴関数は常に同等ではなく、導関数の扱いに注意が必要となる。

2.3.2 キュムラントとの関係

キュムラントは、分布の相関構造や非ガウス性の指標を体系的に整理する枠組みである。特徴関数を対数にとった \[ \log\varphi_X(t) \] が、十分な条件のもとでキュムラントの級数展開に対応する。展開係数は一般にキュムラントを表し、加法性（独立な和のときの性質）と整合するため、和の分布解析で有用になる。

3 分布との一対一対応

3.1 一意性定理

特徴関数が同じなら分布も同じ、という一意性が成り立つ。すなわち、確率分布 \(P_X\) と \(P_Y\) に対して \(\varphi_X(t)=\varphi_Y(t)\) が全ての \(t\) で成り立てば、分布が一致する。これにより特徴関数は分布同定の十分情報を提供する。

この性質は、正定値性や連続性、さらに測度論的な議論と結びついており、特徴関数が「分布の完全な特徴」として働く根拠となる。

3.2 逆問題：特徴関数から分布へ

3.2.1 代表的な復元の考え方

逆問題は「特徴関数から分布を再構成する」ことに相当する。代表的には、特徴関数の逆フーリエ変換により密度が得られる場合がある。とくに分布が十分に滑らかな密度を持つとき、確率密度 \(f(x)\) は \[ f(x)=\frac{1}{2\pi}\int_{-\infty}^{\infty} e^{-itx}\varphi_X(t)\,dt \] のような積分表示で表され得る。

密度が存在しない場合でも、分布関数（累積分布）に対する反転公式や、測度としての再構成が可能であるが、適切な条件設定が必要になる。

3.2.2 実務上の限界

実務では、特徴関数を有限範囲でしか観測できない、あるいは数値誤差があるといった理由で、直接の逆変換は不安定になることがある。積分の打ち切りや離散化が増幅されると、分布の尾部や鋭いピークが誤って再現され得る。

さらに、特徴関数の推定自体がサンプル数に依存し、分散が増える。したがって逆問題は、理論的には可能でも、実装では正則化（平滑化）や分布族への当てはめなどの工夫が必要になる。

4 演算・確率構造への応用

4.1 独立性と畳み込み

確率変数 \(X\) と \(Y\) が独立であるとき、和 \(X+Y\) の特徴関数は積として表される。具体的には \[ \varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t) \] が成立する。これは畳み込みに対応し、分布空間での複雑な合成が、特徴関数空間では単純な乗算に変わることを示している。

この性質により、独立性の検証や、複数成分からなるモデルの周波数領域での解析が可能になる。

4.2 和の分布（畳み込みの扱い）

和の分布を扱う場面では、密度の畳み込み積分の計算が難しいことが多い。一方、特徴関数を用いれば、必要な演算が積に変換されるため、計算手順が簡潔になる。最終的に必要なら逆変換を行い、分布の側へ戻す。

分布が離散の場合でも同様の枠組みが利用でき、確率母関数や離散フーリエ変換と関連する形で計算に落とし込める。

4.3 極限定理との関係

極限定理では、正規化した和の極限分布が重要になる。特徴関数はこの分布収束を解析するための中心的道具の一つで、連続性と一意性の組合せにより、極限の特徴関数を示せば分布の極限が従う。

また、中心極限定理や安定分布に関する結果では、特徴関数の形（指数型や冪型など）が直接的に役割を持つ。これにより、分布の裾の重さや安定性の有無が、周波数領域で識別できる。

4.4 分布推定・近似への利用

推定の観点では、観測データから特徴関数を経験平均で近似し、その逆変換や距離最小化によって分布を復元する手法が用いられる。代表例として、特徴関数の差を二乗積分して最小化する推定（いわゆる一般化モーメント系に近い発想）が挙げられる。

ただし、逆変換の不安定性があるため、実装では重み関数による打ち切り、平滑化、計算領域の設計が重要になる。精度は分布の種類や推定対象のパラメータに依存し、過度な自由度は過学習や発散の原因になり得る。

5 代表的な例

5.1 離散分布

離散型の確率変数では、特徴関数は確率質量関数の重み付き和として書ける。例えば \(X\) が値 \(x_k\) を取り確率が \(p_k\) なら \[ \varphi_X(t)=\sum_k p_k e^{itx_k} \] となる。したがって、離散分布の特徴関数は周期性や位相の干渉が目に見えやすい。

また、離散分布同士の畳み込みは、特徴関数の乗算に対応し、離散フーリエ変換の計算を利用して効率化することがある。

5.2 連続分布

5.2.1 一様分布の例

\(X\) が区間 \([a,b]\) 上で一様なら、特徴関数は積分により解析的に求まる。密度 \(f(x)=\frac{1}{b-a}\) を用いると \[ \varphi_X(t)=\frac{1}{b-a}\int_a^b e^{itx}\,dx \] となり、指数積分の計算結果として \(\sin\) と \(t\) に関する形が得られる。特徴関数の減衰や振動は、分布が有限区間に限られる性質と整合する。

5.2.2 正規分布の例

正規分布 \(X\sim \mathcal{N}(\mu,\sigma^2)\) の特徴関数は非常に単純な指数形になる。具体的には \[ \varphi_X(t)=\exp\left(i\mu t-\frac{1}{2}\sigma^2 t^2\right) \] である。二次の項が指数関数に現れるため、和の分布や独立性を扱う際に計算が容易になる。

さらに、正規分布の和が再び正規分布になる性質は、特徴関数の積が同型の指数形へ戻ることから見通せる。

5.2.3 二項分布・ポアソン分布の例

二項分布 \(X\sim \mathrm{Bin}(n,p)\) では、独立なベルヌーイ試行の和として特徴づけられるため、特徴関数は \[ \varphi_X(t)=\left((1-p)+pe^{it}\right)^n \] のような形をとる。指数部分が一次で現れることから、試行回数 \(n\) によるべき乗構造が特徴となる。

ポアソン分布 \(X\sim \mathrm{Poisson}(\lambda)\) では \[ \varphi_X(t)=\exp\left(\lambda\left(e^{it}-1\right)\right) \] が得られる。ここでの \(\exp\) の外側に現れる \((e^{it}-1)\) が、分割可能性（独立な部分過程の和としての構造）と結びつく。

6 機械学習・データ解析での「特徴関数」

6.1 特徴量と特徴関数の関係

6.1.1 特徴量写像としての見方

機械学習で「特徴関数」という語が使われるとき、しばしばデータ \(x\) から低次元または高次元の表現 \( \phi(x)\) を作る写像を指す。ここでは、元の変数をそのまま扱うより、目的に適した尺度で変形してからモデルへ入力するという考え方が中心にある。確率論の特徴関数が分布を要約する写像であるのに対し、機械学習の特徴は観測値を変換して学習を助ける役割を担う点が異なる。

6.1.2カーネルや類似度との接点

カーネル法では、類似度を測るための関数 \(K(x,x')\) が重要になる。このとき「特徴関数」という呼称で、暗黙の特徴空間への写像を表す説明がなされる場合がある。代表的には \(K\) が内積として表現できるとき、ある写像 \(\phi\) が存在し \(K(x,x')=\langle \phi(x),\phi(x')\rangle\) のように捉えられる。

ただし、これは確率論の特徴関数とは目的も数学的対象も異なり、「関数」という共通語だけで結びつくことに注意が要る。

6.2 文脈による用語の整理

「特徴関数」が何を指すかは、対象が確率分布かデータ表現かで決まる。確率論では \(e^{itX}\) の期待値として定義され、分布の一意性を担保する。データ解析では、変換後の特徴ベクトルや核を通じて学習の性能を左右する。したがって同じ語が使われても、議論の前提（ランダム変数の分布同定か、観測の表現設計か）を確認し、定義式をそのまま照合するのが確実である。

7 計算上の論点

7.1 数値計算と安定性

特徴関数の計算は、理論式が閉形式でない場合に数値積分や近似に頼ることが多い。さらに逆変換を伴う場合、誤差が大きくなりやすい。これは振動する指数因子と打ち切り誤差が干渉し、細かな違いが再構成結果に影響し得るためである。

安定性を改善するには、積分領域の選択、刻み幅、重み付け、正則化といった設計が鍵になる。特に裾の情報を復元したい場合、計算の精度要件が厳しくなる傾向がある。

7.2 サンプリングによる近似

観測データ \(X_1,\dots,X_n\) があるとき、経験的特徴関数は \[ \hat{\varphi}(t)=\frac{1}{n}\sum_{j=1}^n e^{itX_j} \] で与えられる。これは期待値の標本平均であり、サンプル数が増えるほど真の特徴関数へ収束する。

ただし、複素数値であるために実部・虚部のばらつき、さらに \(t\) が大きい領域での推定分散の増加が問題になることがある。実務では、推定したい周波数帯域を限定し、誤差分布の形に応じた扱いが必要になる。

7.3 実装上の注意

実装では、計算資源と精度のトレードオフが現れる。打ち切り積分や離散化を行う際には、刻み幅の誤差と数値丸めの影響が合成される。複素数演算を用いる場合、ライブラリの型・精度（単精度/倍精度）や計算順序にも注意が要る。

また、逆変換や分布復元を目的にする場合、正則化パラメータや重み関数の選び方が結果を大きく左右する。検証には、既知の分布での再現性チェックや、再サンプリングによる誤差評価が役立つ。

8 関連概念

8.1 モーメント母関数

モーメント母関数は \(\mathbb{E}[e^{tX}]\) の形で定義され、モーメントが存在する範囲で性質が特徴づけられる。特徴関数は \(i\) を含むため、常に有界な指数になりやすいのに対し、モーメント母関数は実部 \(t\) に応じて発散の可能性がある。

それゆえ、モーメント母関数が利用できる分布では強力だが、利用できない分布でも特徴関数は定義できる場合がある。

8.2 確率密度・分布関数

特徴関数は分布の情報を周波数領域で保持する。密度 \(f(x)\) や分布関数 \(F(x)\) は時間（あるいは実数）領域の表現であり、逆フーリエ変換や反転公式によって結びつく。密度が存在するかどうかで復元の具体形は変わるため、どの対象（密度か累積確率か）を復元したいかを最初に定める必要がある。

8.3 ラプラス変換との比較

ラプラス変換は \(\int_0^\infty e^{-st} f(t)\,dt\) のように定義され、主に非負領域の解析で用いられる。確率論では、正の変数や待ち時間などの状況で有用である。特徴関数は全実数方向の位相振動を扱うため、符号を含むランダム変数に対して自然に現れる。

比較の要点は、変換の収束条件と利用できる分布のクラスに差があること、そして畳み込みの扱いが共通の背景（変換空間での積化）を持つ点である。

9 参考・発展

9.1 有限分布と一般分布

有限分布は確率測度が有限個の点に集中する場合を指し、特徴関数は有限和として扱えることが多い。一方で一般分布では、測度としての統合が本質になるため、反転公式や収束議論が複雑になる。特徴関数の利点は両者にわたって同じ定義式のもとで進められる点にある。

9.2 さらなる定理と拡張

特徴関数の研究では、極限定理の一般化、安定性、確率過程への拡張、複素平面での解析など多方面に発展がある。とくに「分布の同定」「独立性と和」「極限分布」という三つの軸が、さまざまな定理の核になっている。

また、測度の連続性や一様収束を使った議論により、どの条件で極限が成立するかを精密に示す方向へ進むことが多い。

9.3 学習のための学習順

学習では、まず定義と基本性質（連続性・正定値性・線形変換則）を押さえる。次に一意性定理で「特徴関数が分布を決める」ことを確認し、独立性による積の性質を通じて和の分布へつなげる。その後、逆問題と計算上の不安定性、経験的特徴関数の扱いを学ぶと理解が体系化される。

最後に、具体例（正規、ポアソンなど）を使って、演算結果がどのように特徴関数へ反映されるかを体験的に固めると定着しやすい。