Leaky ReLU（Leaky Rectified Linear Unit）は、深層学習における活性化関数の一種であり、標準的なReLU（Rectified Linear Unit）の改良版として提案された。ReLUは負の入力に対して0を出力するため「ニューロン死（dying ReLU）」問題を引き起こすが、Leaky ReLUは負の領域に微小な勾配（通常0.01程度）を設けることで、この問題を緩和する。数式的には、入力xに対して、x > 0の場合はxを出力し、x ≤ 0の場合はαx（αは小さな正の定数）を出力する。これにより、逆伝播時にも負の入力に対して勾配が流れ続け、学習の安定性が向上する。
1 背景と動機
1.1 ReLUの課題：ニューロン死問題
ReLUは、x > 0で勾配1、x ≤ 0で勾配0を持つ活性化関数である。この単純な性質により計算効率が高く、深層ネットワークの学習を加速させる一方で、負の入力を常に0にするため、訓練中に一部のニューロンの出力が恒久的に0になる現象（dying ReLU）が発生する。一度この状態になると、そのニューロンは以降の逆伝播で勾配を受け取れず、重みが更新されなくなる。多数のニューロンが死ぬと、ネットワークの表現能力が低下し、学習が停滞する。
1.2 負の領域への勾配導入の必要性
dying ReLU問題を解決するには、負の入力に対しても微小な勾配を維持すればよい。これにより、負の領域にあるニューロンも学習の機会を得られ、ニューロン死のリスクを低減できる。Leaky ReLUはこの考えに基づき、負側に非ゼロの傾きを設けることで、死んだニューロンを「リーク（漏れ）」させる役割を果たす。
2 数学的定義
2.1 標準的な数式表現
Leaky ReLUは以下の式で定義される。
\[ f(x) = \begin{cases} x, & \text{if } x > 0 \\ \alpha x, & \text{if } x \leq 0 \end{cases} \]
ここで、\(\alpha\)は正の小さな定数である。一般的には\(\alpha = 0.01\)が用いられる。微分は次のようになる。
\[ f'(x) = \begin{cases} 1, & \text{if } x > 0 \\ \alpha, & \text{if } x \leq 0 \end{cases} \]
これにより、負の領域でも勾配\(\alpha\)が逆伝播され、ニューロンの更新が継続する。
2.2 パラメータαの役割と典型的な値
2.2.1 固定α（例：0.01）
多くの実装では、\(\alpha\)を学習前に固定値（例えば0.01や0.1）に設定する。これにより追加の学習パラメータが不要で、計算コストはReLUとほぼ同等である。固定\(\alpha\)はシンプルさと実用性のバランスがよく、画像分類などのタスクで広く採用されている。
2.2.2 学習可能α（Parametric ReLUとの関係）
\(\alpha\)を訓練中に学習可能なパラメータとして扱う方式をParametric ReLU（PReLU）と呼ぶ。PReLUでは、各チャネルや各層ごとに異なる\(\alpha\)を学習でき、負領域の傾きをデータに適応させる。Leaky ReLUはPReLUの特殊なケース（固定\(\alpha\)）とみなすこともできる。学習可能にすると表現力が向上する一方、過学習リスクや計算負荷が増す可能性がある。
3 利点と欠点
3.1 利点
3.1.1 勾配消失問題の緩和
負領域にわずかな勾配があるため、深いネットワークでも勾配が完全に消失することなく伝播しやすくなる。特に、正領域だけでなく負領域を通る情報の流れが確保されることで、学習の安定性が向上する。
3.1.2 ニューロン死の防止
dying ReLU問題が起きにくくなる。負の入力でも勾配\(\alpha\)が流れるため、一度負側に偏ったニューロンでも、後続の更新で再び活性化される可能性が残る。これによりネットワーク全体の利用率が高まる。
3.1.3 計算効率の維持
Leaky ReLUは、ReLUと同様に単純な条件分岐と線形演算のみで実装できる。指数関数や除算などの重い計算を伴わないため、訓練・推論速度への影響は極めて小さい。
3.2 欠点
3.2.1 出力の非ゼロ中心性
Leaky ReLUは負領域に値を持つため、出力の平均が必ずしも0にならず、非ゼロ中心の分布となる。これは後続層のバイアスシフトを引き起こし、学習速度に悪影響を与える可能性がある。正規化手法（バッチ正規化など）と併用することで緩和できる。
3.2.2 ハイパーパラメータαの調整困難
固定\(\alpha\)の値（0.01や0.1など）は経験的に決められることが多く、タスクやネットワーク構造によって最適値が異なる。適切な値を探索するには手間がかかり、学習可能なPReLUではその手間は減るが、代わりに追加パラメータの管理が必要になる。
4 実装と応用
4.1 主要な深層学習フレームワークでの実装例
4.1.1 TensorFlow / Keras
TensorFlowのKeras APIでは、LeakyReLUレイヤーとして提供されている。デフォルトのαは0.3（Keras 2.x）または0.2（Keras 3.x）であるが、任意の値に設定可能。
import tensorflow as tf
model = tf.keras.Sequential([
tf.keras.layers.Dense(64),
tf.keras.layers.LeakyReLU(alpha=0.01)
])4.1.2 PyTorch
PyTorchではtorch.nn.LeakyReLUを使用する。negative_slopeパラメータで傾きを指定する。
import torch.nn as nn
layer = nn.LeakyReLU(negative_slope=0.01)また、Functional API（F.leaky_relu）でも利用可能である。
4.2 典型的な応用分野
4.2.1 画像分類
畳み込みニューラルネットワーク（CNN）において、Leaky ReLUはReLUの代替として広く使われる。特に、層が深くなるほどdying ReLUが発生しやすいため、ResNetやDenseNetなどの大規模モデルで効果を発揮する。CIFAR-10やImageNetの分類タスクでの採用例が多い。
4.2.2 自然言語処理
RNNやTransformer系のモデルでも使用される。テキスト分類や系列生成タスクにおいて、負の勾配が情報の流れを維持するのに寄与する。ただし、自然言語処理ではELUやGELUなど他の活性化関数が好まれることもある。
5 派生型との比較
5.1 PReLU（Parametric ReLU）
PReLUはLeaky ReLUの\(\alpha\)を学習可能にしたもの。各チャネル（または各ニューロン）ごとに異なる\(\alpha\)を持ち、データに適応する。Leaky ReLUより表現力は高いが、パラメータ数が増え、訓練が不安定になる場合もある。特に過学習しやすい小規模データセットでは注意が必要。
5.2 ELU（Exponential Linear Unit）
ELUは負領域を指数関数で滑らかに減衰させる活性化関数。負の値に対して非線形な応答を持ち、出力の平均が0に近づく（ゼロ中心化）利点がある。Leaky ReLUと比べて勾配消失がさらに起こりにくいが、指数計算のため計算コストが高い。
5.3 Swish / SiLU
Swish（SiLU）は、\(f(x) = x \cdot \sigma(x)\)（σはシグモイド関数）で定義される自己ゲーティング型の活性化関数。負領域で滑らかな非線形性を持ち、Leaky ReLUより強い表現力を発揮する場合がある。ただし計算コストは高く、大規模モデルでは訓練が安定しやすい一方で、小規模モデルではオーバーフィッティングのリスクがある。
6 発展と将来展望
6.1 自動調整型Leaky ReLU
ハイパーパラメータαの自動調整手法が研究されている。例えば、訓練中に勾配情報をもとにαを動的に変更する方法や、ベイズ最適化を用いて最適なαを探索するアプローチがある。これにより、手動調整の負担を軽減しつつ、タスクに応じた性能向上が期待される。
6.2 他の活性化関数とのハイブリッド
Leaky ReLUの特性を活かしつつ、他の関数と組み合わせる試みが行われている。例えば、正領域ではReLU、負領域ではELUの減衰曲線を採用するHybrid Leaky-ELUや、特定のチャネルだけLeaky ReLUを適用する部分活性化などがある。これらのハイブリッドは、計算効率と表現力のさらなるトレードオフ改善を目指している。深層学習コミュニティでは、より適応的かつロバストな活性化関数の開発が継続して進められている。