活性化値 - Ciallo Wiki | チャロ百科

1 活性化値の基礎概念

活性化値とは、ニューラルネットワークにおいて各ニューロンが出力する数値である。計算過程は、まず前層からの入力信号に各重みを乗じた総和（加重和）を求め、これにバイアスを加算する。その後、得られた値に活性化関数を適用した結果が活性化値となる。この値は次の層への入力として伝達される。

活性化値は、入力値と重みの線形結合に非線形変換を施したものとして表現される。入力値が大きく変化すれば活性化値も変動し、重みの調整によって活性化値の大きさや方向が制御される。バイアスは活性化関数の入力閾値をシフトさせる役割を担い、ニューロンの発火しやすさを調整する。

活性化値は、ネットワーク内での情報の流れを決定する核心的な要素である。適切な活性化値の分布は、勾配の安定した伝播を可能にし、モデルの学習効率を向上させる。また、活性化値の値域や分散は、層を深くする際の表現能力と学習の安定性に直接的な影響を与える。

Sigmoid関数は、入力を0から1の範囲に写像する非線形関数である。出力が確率解釈に適しているため、二値分類の最終層で多用される。しかし、入力の絶対値が大きい領域では勾配がほぼゼロとなる飽和特性を持ち、深いネットワークでは勾配消失問題を引き起こす。

Tanh関数は、入力を-1から1の範囲に写像する。Sigmoidと比較して出力がゼロ中心となるため、学習の収束が速い特性がある。一方で、Sigmoidと同様に飽和領域が存在し、勾配消失のリスクは依然として残る。

ReLUは、正の入力に対してはその値をそのまま出力し、負の入力に対しては0を出力する。計算が単純で勾配消失が起こりにくく、深層学習の普及に大きく貢献した。ただし、負の領域で勾配が完全にゼロとなるため、一度負の値になると学習が進まない「死滅ニューロン」問題が生じる。

Leaky ReLUは、負の入力に対して微小な傾き（通常0.01）を設定することで、死滅ニューロン問題を緩和する。Parametric ReLUはこの傾きを学習可能なパラメータとし、各ニューロンが最適な傾きを自動調整できるようにしたものである。

Swishは、入力にSigmoid関数を乗じた形で定義され、ReLUの持つ非線形性を維持しつつ、滑らかな勾配を持つ。GELUは、正規分布の累積分布関数に基づいて設計され、特にTransformerアーキテクチャで標準的に使用される。両者とも、現代の大規模モデルにおいて高い性能を示している。

活性化関数による非線形変換によって、ネットワークは単なる線形変換では表現できない複雑な関数を近似できるようになる。活性化値の非線形性が高いほど、少ない層数で多様なパターンを学習可能となる。

深いネットワークでは、活性化値の勾配が層を伝播する際に指数関数的に減衰（消失）または増大（爆発）する現象が生じる。これは、活性化関数の微分値の積が連鎖律によって累積されることに起因する。

活性化関数の飽和領域では勾配が極めて小さくなり、学習が停滞する。特にReLUにおける死滅ニューロンは、負の入力が続くことでニューロンが完全に活動しなくなる現象であり、ネットワークの表現能力を著しく低下させる。

順伝搬では、各層において入力と重みの行列積を計算し、バイアスを加算した後、活性化関数を要素ごとに適用する。この一連の計算が層の数だけ繰り返され、最終的に出力層の活性化値が得られる。

複数の入力サンプルを同時に処理するバッチ処理では、活性化値はテンソルとして表現される。GPUなどの並列計算環境では、行列演算を効率的に実行できるため、バッチサイズを適切に設定することで計算速度が大幅に向上する。

活性化値は逆伝搬時の勾配計算に再利用されるため、順伝搬時に全ての層の活性化値をメモリに保持する必要がある。特に深いネットワークではメモリ消費が大きくなり、モデル設計時には活性化値の保存と再計算のトレードオフを考慮する必要がある。

層が深くなるにつれて活性化値の分散は変化し、適切な分布を維持しないと学習が不安定になる。活性化値の分散が層を経るごとに拡大または縮小すると、勾配の消失や爆発が発生しやすくなる。

バッチ正規化は、各層の活性化値を平均0、分散1に正規化することで、活性化値の分布を安定させる。これにより、学習率の設定が容易になり、勾配問題が緩和される。バッチ正規化と適切な活性化関数の組み合わせは、現代の深層学習モデルにおける標準的な手法である。

活性化値の特性に合わせて、学習率や重みの初期化方法を調整する必要がある。例えば、ReLUを使用するネットワークではHe初期化が、SigmoidやTanhではXavier初期化が有効である。これらの初期化手法は、活性化値の分散を適切に保つよう設計されている。

転移学習では、事前学習済みモデルの活性化値の分布が、新たなタスクのデータに対しても有用な特徴を抽出できることが重要である。一般に、初期層の活性化値は汎用的な特徴（エッジやテクスチャなど）を捉え、深い層ほどタスク固有の特徴を表現する傾向がある。