1 定義と基本概念
1.1 活性化関数の役割
活性化関数は、ニューラルネットワークの各ニューロンにおいて、入力信号の重み付き総和を非線形変換する関数である。この変換により、ネットワークは複雑な非線形関係を学習可能となる。活性化関数がなければ、隠れ層をいくら重ねても全体は線形変換の合成に過ぎず、表現力が著しく制限される。したがって、活性化関数はニューラルネットワークに非線形性を付与する核心的な要素である。
1.2 線形性と非線形性の必要性
線形変換のみで構成されたネットワークは、単一の線形層と等価であり、多層構造の利点を活かせない。現実のデータ（画像、音声、テキストなど）はほとんどの場合、非線形な関係を含むため、ネットワークが非線形性を持つことが必須である。活性化関数は各ニューロンで非線形写像を施すことで、深い層の積み重ねによる表現力向上を可能にする。また、非線形性は決定境界を曲線や複雑な形状にすることを許容し、分類や回帰の精度を高める。
1.3 活性化関数の数学的表現
一般的に、ニューロンの出力は入力ベクトル x、重みベクトル w、バイアス _b_ を用いて、_a_ = _f_(w⋅x + _b_) と表される。ここで _f_ が活性化関数である。活性化関数は実数値を入力とし、実数値を出力するスカラー関数であり、多くの場合、微分可能または区分的に微分可能である（勾配法による学習のため）。代表的な例としてシグモイド関数、tanh関数、ReLUなどがある。
2 主な活性化関数の種類
2.1 シグモイド関数
2.1.1 定義と特性
シグモイド関数は _σ_(_x_) = 1 / (1 + _e_^(-_x_)) で定義される。その出力は (0,1) の範囲に収まり、入力が大きくなるにつれて1に、小さくなるにつれて0に漸近する。S字状の滑らかな曲線を持ち、微分可能である。確率的な解釈（出力を確率とみなす）や、二値分類の出力層で広く使われた。
2.1.2 勾配消失問題
シグモイド関数の微分値は _σ_(_x_)(1 - _σ_(_x_)) であり、その最大値は0.25、入力の絶対値が大きくなると0に近づく。深いネットワークにおいて、誤差逆伝播で層を遡るたびに勾配が掛け合わされるため、勾配が指数関数的に小さくなり、学習が極端に遅くなる（勾配消失問題）。これが、深層学習においてシグモイド関数が隠れ層で使われなくなった主な理由である。
2.2 tanh関数
2.2.1 定義と特性
tanh関数（双曲線正接関数）は tanh(_x_) = (_e_^_x_ - _e_^(-_x_)) / (_e_^_x_ + _e_^(-_x_)) で定義される。出力は (-1, 1) の範囲で、0を中心とするため、データの平均を0に近づける効果がある。これは後続の層の学習を安定化させる。シグモイドと同様にS字状で微分可能である。
2.2.2 シグモイドとの比較
tanh関数はシグモイド関数を平行移動・スケーリングしたもの（tanh(_x_) = 2_σ_(2_x_) - 1）と見なせる。0中心であるため、シグモイドと比べて勾配の流れが若干改善されるが、依然として入力の絶対値が大きい領域では微分値が0に近づき、勾配消失問題は完全には解決されない。一般的に、tanhはシグモイドより学習が速い場合が多いが、深層ではReLU系に取って代わられた。
2.3 ReLUファミリー
2.3.1 ReLU（ランプ関数）
ReLU（Rectified Linear Unit）は _f_(_x_) = max(0, _x_) で定義される。正の領域では入力をそのまま出力し、負の領域では0を出力する。計算が極めて単純で微分も容易（0での微分は定義上、通常0または1とする）。ReLUは勾配消失問題を大幅に緩和し、深層ネットワークの学習を可能にした。しかし、負の入力に対して勾配が完全に0になることから、一部のニューロンが一度も活性化しなくなる「死滅ReLU」問題がある。
2.3.2 Leaky ReLU
Leaky ReLUは、負の領域にも微小な傾き（例：0.01）を与えることで、死滅ReLU問題を緩和する。定義は _f_(_x_) = max(α_x_, _x_) で、αは通常0.01などの小さな定数である。これにより負の入力でもわずかな勾配が流れ、ニューロンの死滅を防ぐ。
2.3.3 Parametric ReLU（PReLU）
PReLUはLeaky ReLUの傾きαを学習可能なパラメータとしたものである。ネットワークがデータに応じて最適な傾きを学習できるため、さらなる性能向上が期待できるが、パラメータ数が増加する。特に大規模な画像認識タスクで有効とされる。
2.3.4 Exponential Linear Unit（ELU）
ELUは負の領域で指数関数的に飽和する関数であり、_f_(_x_) = max(0, _x_) + min(0, α(_e_^_x_ - 1)) で定義される（αは正の定数）。負の領域での勾配が完全に0にならず、かつ出力の平均が0に近づくことで学習を安定化させる。ただし、指数計算のため計算コストがReLUより高い。
2.4 その他の高度な活性化関数
2.4.1 Swish
Swishは _f_(_x_) = _x_ ⋅ _σ_(_x_) で定義される（_σ_はシグモイド関数）。Googleが提案し、ReLUと同等以上に性能が良い場合がある。自己ゲーティングの性質を持ち、負の領域でわずかに負の値を取ることで、非線形性と勾配の流れを両立する。
2.4.2 GELU
GELU（Gaussian Error Linear Unit）は _f_(_x_) = _x_ ⋅ Φ(_x_) で定義される（Φは標準正規分布の累積分布関数）。自然言語処理のTransformerモデルなどで広く使われる。確率的な解釈に基づき、入力値に応じて非線形にスケーリングする。計算には近似式が用いられることが多い。
2.4.3 ソフトプラス関数
ソフトプラス関数は _f_(_x_) = ln(1 + _e_^_x_) で定義される。ReLUの滑らかな近似であり、常に正の出力を持ち、微分可能である。出力が0より大きいため、特定のタスク（例えば、分散や標準偏差の推定）で用いられる。ただし、ReLUほどの計算効率はなく、実用ではあまり一般的ではない。
3 選択基準と設計上の考慮点
3.1 勾配の消失・爆発
活性化関数の微分値の範囲は、勾配の消失や爆発に直接影響する。シグモイドやtanhは微分値が1未満のため深い層での消失が起こりやすく、ReLUは正の領域で微分値が1であるため消失を軽減するが、死滅により勾配が消失することもある。Leaky ReLUやELUはその対策として開発された。勾配爆発は活性化関数単体というよりネットワーク全体の設計（重み初期化やバッチ正規化）で対策される。
3.2 計算コストとメモリ効率
活性化関数の計算には、指数関数（シグモイド、tanh、ELU）、乗算（Swish、GELU）などが必要なものと、単純な比較と最大値（ReLU）だけで済むものがある。大規模ネットワークでは計算コストが学習時間に直結するため、ReLUが最も軽量で広く使われる。また、活性化関数によってはメモリ消費やハードウェア（GPU）での並列化効率も考慮すべきである。
3.3 微分可能性と勾配情報
ほとんどの活性化関数はほとんどの点で微分可能であるが、ReLUは0で微分不可能（通常、片側微分を利用）。また、勾配が0になる領域（ReLUの負の領域、シグモイドやtanhの飽和領域）があると、学習の停滞を招く。微分可能かつ非飽和な特性が理想とされる。
3.4 用途別の推奨（画像認識・自然言語処理など）
画像認識ではReLUとその派生（Leaky ReLU、PReLU、ELU）が標準的である。自然言語処理では最近GELUやSwishがTransformerモデルで好まれる。二値分類の出力層ではシグモイド、多値分類ではソフトマックス（厳密には活性化関数ではないが、出力層で使われる）が一般的である。回帰タスクでは恒等関数（線形活性化）も用いられる。中間層には勾配消失を避けるためReLU系が推奨される。
4 発展の歴史と理論的裏付け
4.1 初期の段階関数（ステップ関数）
初期のニューラルネットワーク（パーセプトロン）では、出力を閾値で0か1に二値化するステップ関数が使われた。これは微分不可能で誤差逆伝播法に適さず、単純なパーセプトロンの学習に限定的に用いられた。非線形性は確保できるが、勾配法による学習ができないため、多層ネットワークの発展とともに滑らかな活性化関数へ移行した。
4.2 ニューラルネットワーク復興期の研究
1980年代後半から1990年代にかけて、誤差逆伝播法の普及とともにシグモイド関数やtanh関数が標準となった。これらの関数は微分可能であり、勾配法による学習を可能にした。しかし、深いネットワークでの勾配消失問題が顕在化し、2000年代に入るとReLUが提案されるまで、深層学習の進展は制限された。また、スパース性を誘発する活性化関数や、生物学的なニューロンの発火特性に着想を得た研究も進められた。
4.3 現代深層学習での最適化研究
2010年代以降、ReLUの登場により深層学習が飛躍的に発展した。その後、死滅ReLU問題への対策としてLeaky ReLU、PReLU、ELUなどが提案され、さらにSwishやGELUなどの自己ゲーティング型関数が登場した。現在では、タスクやモデルアーキテクチャに応じて最適な活性化関数を選択する研究が続いている。理論的には、活性化関数がネットワークの近似能力（万能近似定理）や最適化のしやすさに与える影響が解析されており、特に勾配の流れや活性化のスパース性が重要視されている。