隠れ層（Hidden Layer）は、ニューラルネットワークにおいて入力層と出力層の間に位置する中間層の総称である。これらの層は入力データを非線形変換し、高次元の特徴表現を学習するための計算ユニットとして機能する。隠れ層の数とニューロン数がネットワークの表現力を決定づける一方、設計次第で学習の難易度や汎化性能が大きく変化する。
隠れ層の役割
隠れ層の主な役割は、入力データからタスクに有用な特徴を自動的に抽出・変換することである。線形分離不可能な問題を解くために非線形性を導入し、データの内在構造を階層的に捉える。例えば、画像認識ではエッジ、テクスチャ、物体部品といった抽象度の異なる特徴を隠れ層が逐次的に学習する。
ニューラルネットワークにおける位置づけ
ニューラルネットワークは入力層、隠れ層、出力層の三つの部分から構成される。入力層は生データを受け取り、出力層は予測や分類結果を出力する。隠れ層はその中間に位置し、入力と出力の間の複雑な写像を学習する実質的なエンジンである。隠れ層が一つしかないネットワークは浅層、複数ある場合は深層と呼ばれる。
活性化関数との関係
隠れ層の各ニューロンは、重み付き線形和を計算した後、活性化関数（activation function）によって非線形変換を施す。この非線形性がなければ、隠れ層をいくら重ねても線形変換の組み合わせに過ぎず、表現力が限定される。代表的な活性化関数として、シグモイド、tanh、ReLU（Rectified Linear Unit）などがあり、ReLUは勾配消失問題を緩和する利点から広く用いられる。
隠れ層はその結合パターンや演算方式によっていくつかの基本的な種類に分類される。それぞれ異なるデータ構造やタスクに適しており、現代の深層学習ではこれらを組み合わせた複合アーキテクチャが一般的である。
全結合層
全結合層（Dense Layer）は、前層のすべてのニューロンと後層のすべてのニューロンが個別に接続される最も古典的な隠れ層である。すべての入力特徴を均等に考慮できる反面、パラメータ数が膨大になりやすく、高次元データ（画像など）では非効率である。主に多層パーセプトロン（MLP）や最終分類段階で使用される。
畳み込み層
畳み込み層（Convolutional Layer）は、入力データに対して小さなフィルタ（カーネル）をスライドさせながら畳み込み演算を行う層である。局所的なパターンを検出するのに優れ、パラメータ共有により効率的な学習が可能。画像認識をはじめとする空間データの処理で中核的な役割を担う。
プーリング層との組み合わせ
畳み込み層の後にはしばしばプーリング層（Pooling Layer）が配置される。プーリング層は特徴マップの空間サイズを縮小し、位置敏感性を低下させるとともに計算量を削減する。最大プーリング（Max Pooling）や平均プーリング（Average Pooling）が代表的で、畳み込み層との組み合わせにより階層的な特徴抽出が実現される。
再帰型層
再帰型層（Recurrent Layer）は、時系列データや系列データを扱うために設計された層である。各時刻の隠れ状態を次の時刻に伝播させるループ構造を持ち、系列の依存関係を学習する。基本的な再帰型ニューラルネットワーク（RNN）は勾配消失・爆発問題を抱えるため、改良版が普及している。
LSTMとGRU
LSTM（Long Short-Term Memory）は、ゲート機構（入力ゲート、忘却ゲート、出力ゲート）とセル状態を導入することで長期的な依存関係を学習可能にした再帰型層である。GRU（Gated Recurrent Unit）はLSTMを簡略化したバリアントで、更新ゲートとリセットゲートを用いてモデルパラメータを削減しつつ同等の性能を発揮する。どちらも音声認識や自然言語処理で広く使われる。
正則化層
正則化層（Regularization Layer）は、モデルの過学習を防ぎ汎化性能を向上させるために隠れ層に挿入される補助的な層である。学習中にノイズや制約を加えることで、ネットワークが訓練データに過度に適合するのを抑制する。
ドロップアウト層
ドロップアウト層（Dropout Layer）は、学習の各反復においてランダムに一定割合のニューロンを無効化する手法である。これによりニューロン間の共適応を防ぎ、アンサンブル学習に類似した効果が得られる。推論時にはすべてのニューロンを使用し、通常はドロップアウト確率に応じて出力をスケーリングする。
バッチ正規化層
バッチ正規化層（Batch Normalization Layer）は、各ミニバッチごとにニューロンの出力を平均0、分散1に正規化する層である。学習の安定性を高め、高い学習率を許容するとともに、過学習の抑制や勾配伝播の改善に寄与する。CNNや全結合層の後に挿入されることが多い。
隠れ層の学習は、順伝播と逆伝播という二つのフェーズから成り立つ。このプロセスを通じて、隠れ層の重みとバイアスが訓練データに適合するように調整される。
順伝播
順伝播（Forward Propagation）では、入力データが隠れ層を通過し、活性化関数を経由して出力層まで伝播する。各隠れ層では、前層の出力と重みの線形結合にバイアスを加えた後、非線形活性化関数を適用する。この一連の計算により、入力から出力への写像が実現される。
重みとバイアスの計算
各ニューロンの出力は、以下の式で計算される。z = W・x + b において、Wは重み行列、xは前層の出力ベクトル、bはバイアスベクトルである。その後、活性化関数fを適用し、a = f(z)が次層への出力となる。重みとバイアスは学習可能なパラメータであり、逆伝播によって更新される。
逆伝播
逆伝播（Backpropagation）は、出力層で計算された損失関数の勾配を、連鎖律を用いて各隠れ層のパラメータに伝播させるアルゴリズムである。これにより、各パラメータが損失にどの程度影響するかを効率的に計算できる。
勾配降下法による最適化
逆伝播で得られた勾配を用いて、パラメータを損失関数の減少方向に更新するのが勾配降下法（Gradient Descent）である。勾配の方向に一定の学習率を乗じた量だけパラメータを修正する。確率的勾配降下法（SGD）、Adam、RMSpropなどの最適化手法が広く用いられる。
勾配消失と爆発
深いネットワークでは、逆伝播時に勾配が層を遡るにつれて指数的に減衰（消失）または増大（爆発）する問題が発生する。勾配消失は特にシグモイドやtanhのような飽和型活性化関数で顕著であり、初期の深層学習の障害となった。
活性化関数の選択
ReLU（Rectified Linear Unit）は正の領域で勾配が常に1であるため、勾配消失をある程度緩和できる。ただし、負の領域で勾配が0になる「ニューロン死」の問題もある。Leaky ReLUやELUなどのバリアントが考案されている。
スキップ接続
スキップ接続（Skip Connection）は、複数の層を飛び越えて情報を直接伝搬させる構造である。ResNet（Residual Network）で導入された残差接続が代表例で、恒等写像を学習させることで勾配が層を越えて流れる経路を確保し、勾配消失問題を効果的に軽減する。
隠れ層の設計と学習技術の進歩により、ニューラルネットワークは多様な実世界タスクで高い性能を達成している。以下に主要な応用分野と、それに特化した隠れ層構造を示す。
画像認識
画像認識では、畳み込み層とプーリング層を積み重ねた深層畳み込みネットワーク（DCNN）が標準的である。隠れ層が低レベル（エッジ）から高レベル（物体全体）まで階層的に特徴を学習し、分類や物体検出に用いられる。
深層畳み込みネットワーク
VGGNet、ResNet、Inception、EfficientNetなどの代表的なアーキテクチャは、多数の隠れ層（数十から数百層）を備える。ResNetのスキップ接続、Inceptionの並列マルチスケール畳み込みなど、独自の隠れ層構造が性能向上に貢献している。
自然言語処理
自然言語処理では、系列データを扱うための再帰型層や、自己注意機構を用いたトランスフォーマー層が中核となる。隠れ層は単語や文の文脈依存表現を学習する。
トランスフォーマーアーキテクチャ
トランスフォーマーは、再帰型層の代わりに自己注意（Self-Attention）と位置エンコーディングを用いた隠れ層を多層に重ねる。エンコーダ・デコーダ構造を持ち、各層が全位置の情報を並列に処理できる。BERTやGPTなどの大規模言語モデルは、多数のトランスフォーマー層を積み重ねた深層構造を持つ。
強化学習
強化学習では、エージェントの価値関数や方策を表現するためにニューラルネットワークが利用される。隠れ層は状態の特徴を抽出し、行動選択に必要な価値の推定を近似する。
価値関数の近似
Deep Q-Network（DQN）では、畳み込み層と全結合層からなる隠れ層を用いて、ゲーム画面のピクセルからQ値を直接学習する。方策勾配法では、隠れ層が方策の確率分布を出力する。隠れ層の深さや幅は、タスクの複雑さに応じて調整される。
隠れ層の概念はニューラルネットワークの歴史とともに発展してきた。初期の単純なモデルから現在の大規模深層モデルに至る過程は、アルゴリズム、計算資源、データの三つの要因によって駆動された。
パーセプトロンから多層化へ
1958年にフランク・ローゼンブラットが提案したパーセプトロンは、隠れ層を持たない単層ネットワークであり、線形分離可能な問題しか解けなかった。1969年にマービン・ミンスキーとシーモア・パパートがXOR問題の限界を指摘したことで、ニューラルネットワーク研究は一時停滞した。1980年代に誤差逆伝播法が再発見され、隠れ層を追加することで非線形問題が解けることが示された。
ディープラーニング革命
2006年にジェフリー・ヒントンらが層ごとの事前学習法を提案し、深い隠れ層の学習が実用的になった。2012年のImageNetコンテストでAlexNetが優勝したことを契機に、畳み込み層を多数積んだ深層ネットワークが主流となり、ディープラーニング革命が加速した。
計算資源とデータの増加
GPUの並列計算能力の向上や大規模データセット（ImageNet、Common Crawlなど）の出現が、深い隠れ層の学習を可能にした。また、バッチ正規化やドロップアウト、ResNetなどの技術革新が、さらに深いネットワークの学習を安定化させた。
解釈可能性への挑戦
隠れ層が増えるほどネットワークはブラックボックス化し、内部で何を学習したかを理解することが難しくなる。この解釈可能性の問題は、医療診断や自動運転などの信頼性が重要な分野で課題となっている。
特徴マップの可視化
畳み込み層のフィルタが捉えるパターンを可視化する手法（例：Grad-CAM、畳み込みフィルタの最大化）が開発されている。これにより、隠れ層が画像中のどの領域に注目しているかを人間が理解できるようになり、モデルの診断や改善に役立っている。