1 歴史と背景
1.1 パーセプトロンの限界と多層化の必要性
1958年にフランク・ローゼンブラットが提案したシングルレイヤーパーセプトロンは、線形分離可能な問題のみを学習可能であり、XOR問題などの非線形分離不可能なタスクを解くことができなかった。この限界は1969年のマービン・ミンスキーとシーモア・パパートによる著書『パーセプトロン』で数学的に示され、ニューラルネットワーク研究は一時停滞した。非線形な決定境界を表現するには、複数のニューロン層を積み重ねた多層構造が必要であることが認識された。
1.2 誤差逆伝播法の登場
1986年にデヴィッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズらによって誤差逆伝播法（バックプロパゲーション）が再発見・普及された。このアルゴリズムは、出力層の誤差を隠れ層へ逆向きに伝播させて各結合重みの勾配を効率的に計算する手法であり、多層パーセプトロンの学習を実用的にした。これにより非線形問題への適用が可能となり、現代の深層学習の基盤が築かれた。
2 基本構造
2.1 ニューロンと活性化関数
多層パーセプトロンの各ニューロンは、入力の線形和を計算した後、非線形活性化関数を適用して出力を生成する。活性化関数はネットワークに非線形性をもたらし、表現能力を高める。
2.1.1 シグモイド、tanh、ReLU
代表的な活性化関数として、シグモイド関数（出力範囲0～1）、双曲線正接関数tanh（出力範囲-1～1）、正規化線形関数ReLU（入力が正ならそのまま、負なら0）がある。シグモイドとtanhは飽和領域での勾配消失問題を起こしやすいが、ReLUは計算効率が良く勾配消失が緩和されるため、現代の深層モデルで広く使われる。
2.2 ネットワークの層構成
多層パーセプトロンは、入力層、1つ以上の隠れ層、出力層から構成されるフィードフォワード型のネットワークである。情報は入力層から出力層へ向かって一方向に伝播する。
2.2.1 入力層
入力層は外部からデータを受け取る層であり、各ニューロンは特徴量の値に対応する。活性化関数は適用されず、そのまま隠れ層へ値を渡す。
2.2.2 隠れ層
隠れ層は入力層と出力層の間に位置し、複数段積み重ねることで表現力を高める。各ニューロンは前層の出力に対して重み付き和と非線形活性化を適用する。隠れ層の数やユニット数はモデルの複雑さを決定するハイパーパラメータである。
2.2.3 出力層
出力層はタスクに応じた最終予測を出力する。分類問題ではソフトマックス関数（多クラス）やシグモイド関数（二クラス）を用い、回帰問題では恒等関数が使われる。出力層のニューロン数はクラス数や出力次元数に対応する。
2.3 完全結合とパラメータ
多層パーセプトロンの各層間は完全結合（全結合）であり、前層の全ニューロンと次層の全ニューロンが個別の重みで接続される。各結合には重みパラメータと、各ニューロンにはバイアス項が存在し、これらのパラメータが学習によって調整される。パラメータ数は層のサイズの積に比例し、大規模ネットワークでは数百万から数十億に達する。
3 学習アルゴリズム
3.1 順伝播（Forward Propagation）
順伝播では、入力データをネットワークの入力層から出力層へ向かって順方向に伝播させる。各層で線形変換（重み付き和＋バイアス）と非線形活性化関数を適用し、最終的に出力層から予測値を得る。この処理は訓練時と推論時で共通である。
3.2 損失関数
損失関数はネットワークの予測と真のラベルとの誤差を定量化する。学習ではこの損失を最小化するようにパラメータを更新する。
3.2.1 二乗誤差と交差エントロピー
二乗誤差（平均二乗誤差、MSE）は回帰問題で一般的に用いられ、予測値と真値の差の二乗を平均する。交差エントロピー損失は分類問題で使われ、予測確率分布と真の分布の乖離を測る。特にソフトマックス出力と組み合わせることで勾配計算が安定する。
3.3 誤差逆伝播（Backpropagation）
誤差逆伝播は、損失関数の各パラメータに関する勾配を効率的に計算するアルゴリズムである。出力層から入力層へ向かって連鎖律を適用し、各層の誤差を逆方向に伝播させる。これにより、隠れ層の重みに対する勾配も正確に求められる。誤差逆伝播はすべてのパラメータ更新の基礎となる。
3.4 勾配降下法と最適化手法
勾配降下法は、損失関数の勾配に反対方向にパラメータを更新する基本的な最適化手法である。学習率（ステップサイズ）によって更新幅を調整する。
3.4.1 確率的勾配降下法（SGD）
確率的勾配降下法は、全データではなくランダムに選んだ1サンプルまたはミニバッチごとに勾配を計算し更新を行う。計算効率が高く、局所最適解からの脱出にも効果的だが、更新の分散が大きく収束が不安定になることがある。
3.4.2 Momentum、Adam
モメンタムは過去の勾配の指数移動平均を用いて更新方向を平滑化し、収束を加速する。AdamはモメンタムとRMSpropを組み合わせた適応的学習率最適化手法であり、学習率の自動調整と勾配のスケーリングを行うため、多くの実用的タスクで標準的に使用される。
4 理論的性質
4.1 万能近似定理
万能近似定理（Universal Approximation Theorem）は、十分な数のニューロンを持つ1つの隠れ層を持つフィードフォワードネットワークが、任意の連続関数を任意の精度で近似できることを保証する。ただし、これは理論上の存在性を示すものであり、実際の学習可能性や隠れ層のユニット数、汎化性能については別の議論が必要である。
4.2 表現能力と過学習
多層パーセプトロンは多くのパラメータを持つため、複雑な関数を表現できる一方で、訓練データに過剰に適合する過学習（オーバーフィッティング）のリスクが高い。過学習は訓練誤差は小さいがテスト誤差が大きい状態であり、モデル容量とデータ量のバランスが重要となる。
4.3 正則化技法
正則化は過学習を抑制し、汎化性能を向上させるための手法群である。
4.3.1 L1/L2正則化
L2正則化（リッジ回帰）は重みの二乗和を損失関数に加え、重みを小さく保つことでモデルの複雑さを抑える。L1正則化（ラッソ回帰）は重みの絶対値の和を加え、一部の重みを正確にゼロにするスパース化効果を持つ。
4.3.2 ドロップアウト
ドロップアウトは訓練時にランダムにニューロンを一定確率で無効化（ドロップ）する手法である。これにより、複数の異なるサブネットワークをアンサンブル学習する効果が得られ、ニューロンの共適応を防ぎ、過学習を軽減する。
5 応用
5.1 パターン認識と分類
多層パーセプトロンは、手書き文字認識、画像分類、音声認識などのパターン認識タスクに用いられる。例えば、MNISTデータセットにおける数字認識では、入力画像ピクセルを特徴量としてMLPで分類する古典的なベンチマークとして知られる。
5.2 回帰予測
連続値の予測が必要な回帰問題にも適用される。住宅価格予測、株価予測、気温予測など、入力特徴量から目的変数を推定するタスクで利用される。出力層に恒等関数を用い、損失関数には平均二乗誤差が一般的である。
5.3 時系列解析
時系列データの予測・分類にも応用される。過去の時系列値を入力として未来の値を予測する自己回帰型モデルや、特徴量抽出にMLPを用いる方法がある。ただし、リカレントニューラルネットワークのような系列依存性を陽に扱うモデルに比べると、長期依存の学習は難しい。
6 拡張と関連モデル
6.1 深層多層パーセプトロン
隠れ層を多数（例：数十～数百層）持つ多層パーセプトロンは深層多層パーセプトロンと呼ばれる。層を深くすることで階層的な特徴表現を学習できるが、勾配消失や爆発、過学習などへの対策（バッチ正規化、残差接続など）が必要となる。
6.2 畳み込みニューラルネットワークとの違い
畳み込みニューラルネットワーク（CNN）は局所的な受容野と重み共有を用いて空間構造を効率的に処理する。MLPは全結合構造であり、画像のように局所相関が強いデータではパラメータ数が爆発しやすく、空間情報を陽に捉えられない。そのため、画像認識ではCNNが主流である。
6.3 リカレントニューラルネットワークとの違い
リカレントニューラルネットワーク（RNN）は内部に循環結合を持ち、時系列データを逐次的に処理する。MLPはフィードフォワード型であり、過去の情報を保持する機構がないため、系列の長期的依存関係をモデル化できない。そのため、自然言語処理や音声認識ではRNNやTransformerが多用される。