統計的機械学習

統計的機械学習は、統計学の確率論的枠組みと機械学習のアルゴリズム的手法を融合させた学問分野である。主にデータから確率分布や統計モデルを推定し、予測・分類・クラスタリングなどのタスクを遂行する。古典的な統計的推論（点推定、区間推定、仮説検定）を基盤としながら、大規模データや複雑な非線形関係を扱うための正則化、カーネル法、ベイズ推論、深層学習モデルなどを包含する。

1 基礎概念

1.1 確率と統計の基礎

1.1.1 確率分布と期待値

確率分布は、確率変数が取りうる値とその発生確率の対応関係を記述する関数である。離散分布では確率質量関数、連続分布では確率密度関数により表現される。代表的な分布として、正規分布、ベルヌーイ分布、ポアソン分布などが挙げられる。期待値は確率分布の中心的位置を表す指標であり、確率変数の重み付き平均として定義される。

1.1.2 統計的推論の枠組み

統計的推論は、観測データから母集団の特性を推定するプロセスである。点推定は母数を一つの値で推定し、区間推定は信頼区間を用いて推定の不確実性を表現する。仮説検定は、観測データが特定の仮説と矛盾するかどうかを統計的に判断する手法である。これらは全て確率分布の性質に基づいて構築される。

1.2 統計的決定理論

1.2.1 損失関数とリスク

損失関数は、予測値と真の値の乖離を定量的に評価する関数である。回帰問題では二乗損失や絶対損失が、分類問題では0-1損失やヒンジ損失が一般的に用いられる。リスクは損失関数の期待値として定義され、モデルの性能を測る基本的な指標となる。

1.2.2 バイアス・バリアンストレードオフ

バイアス・バリアンストレードオフは、モデルの予測誤差をバイアス（系統誤差）とバリアンス（分散誤差）に分解する概念である。単純なモデルは高バイアス・低バリアンスとなり、複雑なモデルは低バイアス・高バリアンスとなる傾向がある。最適な予測性能を得るには、これら二つの誤差のバランスを取ることが重要である。

1.3 モデルの複雑さと過学習

過学習は、モデルが訓練データに過度に適合し、未知のデータに対する汎化性能が低下する現象である。モデルの複雑さが増すほど過学習のリスクは高まる。正則化や交差検証などの手法は、過学習を抑制しモデルの汎化性能を向上させるために用いられる。

2 代表的なモデル

2.1 線形モデル

2.1.1 線形回帰と最小二乗法

線形回帰は、入力変数の線形結合により目的変数を予測するモデルである。最小二乗法は、予測値と実測値の二乗誤差の総和を最小化するパラメータ推定法である。解は閉形式で得られ、計算が容易であるため、基本的な回帰手法として広く用いられる。

2.1.2 ロジスティック回帰

ロジスティック回帰は、二値分類問題に用いられる線形モデルである。ロジスティック関数（シグモイド関数）を用いて、線形結合の値を確率に変換する。パラメータは最尤推定法により推定され、交差エントロピー損失を最小化することで学習が行われる。

2.2 木構造モデル

2.2.1 決定木と回帰木

決定木は、特徴空間を再帰的に分割することで分類や回帰を行うモデルである。各ノードでは最適な分割基準（ジニ係数やエントロピーなど）に基づいてデータを分割する。回帰木は同様の構造を持つが、各葉ノードで平均値などの連続値を予測する。

2.2.2 ランダムフォレスト

ランダムフォレストは、複数の決定木を組み合わせたアンサンブル学習手法である。各木は訓練データのブートストラップ標本と特徴量のランダムサブセットを用いて構築される。多数決または平均により予測を統合することで、単一の決定木と比較して高い汎化性能と安定性を実現する。

2.3 カーネル法とサポートベクターマシン

カーネル法は、カーネル関数を用いてデータを高次元特徴空間に暗に写像する手法である。サポートベクターマシンは、マージン最大化の原理に基づく分類器であり、カーネルトリックを用いることで非線形分類が可能となる。RBFカーネルや多項式カーネルが代表的であり、サポートベクターと呼ばれる一部の訓練データのみが決定境界の決定に関与する。

2.4 ニューラルネットワークと深層学習

2.4.1 パーセプトロンと多層ネットワーク

パーセプトロンは、単一のニューロンからなる最も基本的なニューラルネットワークモデルである。多層ネットワークは、入力層、隠れ層、出力層から構成され、各層のニューロンが非線形活性化関数を通じて結合される。深層学習では多数の隠れ層を用いることで、複雑な非線形関係の学習が可能となる。

2.4.2 確率的勾配降下法

確率的勾配降下法は、大規模データに対する効率的な最適化手法である。全データを用いる勾配降下法とは異なり、ランダムに選択された1サンプルまたはミニバッチを用いて勾配を近似する。計算コストが低く、局所最適解からの脱出が容易であるため、深層学習の標準的な学習アルゴリズムとして広く採用されている。

3 評価と選択

3.1 交差検証法

3.1.1 k分割交差検証

k分割交差検証は、データをk個のサブセットに分割し、k-1個のサブセットで学習、残り1個で評価をk回繰り返す手法である。全てのデータが一度は評価に使用されるため、安定した性能評価が可能となる。一般的にはk=5またはk=10が用いられる。

3.1.2 リーブワンアウト法

リーブワンアウト法は、k分割交差検証の極端な場合であり、データ数と同数の分割を行う手法である。各イテレーションで1サンプルのみを評価用として使用する。バイアスは小さいが計算コストが高く、特に大規模データセットでは実用的ではない。

3.2 モデル選択基準

3.2.1 AICとBIC

AIC（赤池情報量基準）とBIC（ベイズ情報量基準）は、モデルの適合度と複雑さのバランスを評価する情報量基準である。AICは -2log尤度に2×パラメータ数を加えた値、BICは -2log尤度にlog n×パラメータ数を加えた値として定義される。BICはAICより複雑なモデルに厳しいペナルティを与える傾向がある。

3.2.2 正則化（L1・L2正則化）

正則化は、損失関数にモデルパラメータの大きさに対するペナルティ項を追加することで過学習を抑制する手法である。L1正則化（ラッソ回帰）はパラメータの絶対値に比例するペナルティを与え、スパースな解をもたらす。L2正則化（リッジ回帰）はパラメータの二乗に比例するペナルティを与え、パラメータ値を全体的に小さく抑える。

4 発展的トピック

4.1 アンサンブル学習

アンサンブル学習は、複数の学習モデルを組み合わせて単一モデルより優れた性能を得る手法である。バギングは訓練データのブートストラップ標本を用いて複数モデルを並列に学習し、平均化または多数決で統合する。ブースティングは逐次的にモデルを追加し、前のモデルの誤りを重視して学習する手法であり、AdaBoostや勾配ブースティングが代表的である。

4.2 ベイズ機械学習

ベイズ機械学習は、ベイズ統計の枠組みに基づいてモデルの不確実性を明示的に扱う手法である。事前分布と尤度からベイズの定理により事後分布を計算し、予測分布を通じて将来のデータに対する予測を行う。マルコフ連鎖モンテカルロ法や変分推論などの近似手法により計算が行われる。

4.3 生成モデルと識別モデル