深層ニューラルネットワーク（Deep Neural Network, DNN）は、生物学的な神経回路網に着想を得た機械学習モデルの一種で、入力層と出力層の間に多数の隠れ層（通常2層以上）を持つ構造を特徴とする。多層の非線形変換を積み重ねることで、画像認識、自然言語処理、音声認識など複雑なパターン学習を可能にし、現代の人工知能技術の中核を成す。学習には誤差逆伝播法と勾配降下法が広く用いられ、大規模データと計算資源の進化によりその性能が飛躍的に向上した。
1 歴史と発展
1.1 初期のニューラルネットワーク
ニューラルネットワークの概念は1940年代に遡る。1943年、ウォーレン・マカロックとウォルター・ピッツは単純な論理演算を行う人工ニューロンのモデルを提案した。1958年、フランク・ローゼンブラットはパーセプトロンを開発し、単層ネットワークで線形分類が可能であることを示した。しかし、1969年にマービン・ミンスキーとシーモア・パパートがパーセプトロンの限界（線形分離不可能な問題を解けないこと）を指摘し、ニューラルネットワーク研究は冬の時代を迎えた。
1.2 ディープラーニングの台頭
1980年代、デイヴィッド・ルメルハートらによる誤差逆伝播法の普及により、多層パーセプトロンの訓練が可能となり、再び注目を集めた。2006年、ジェフリー・ヒントンが層ごとの事前学習を用いた深層信念ネットワークを提案し、「ディープラーニング」という用語が広まった。その後の大規模データセット（ImageNetなど）とGPUによる高速計算の進展により、2012年のAlexNetの登場を皮切りに、深層ニューラルネットワークは画像認識、音声認識などで従来手法を圧倒する性能を示し、現在の人工知能ブームを牽引した。
2 基本構造
2.1 ニューロンと活性化関数
ニューロンはニューラルネットワークの基本単位である。入力値に重みを乗じてバイアスを加えた総和を計算し、活性化関数によって非線形変換を施す。活性化関数はネットワークに非線形性をもたらす重要な要素である。
2.1.1 シグモイド関数
シグモイド関数は出力を0から1の範囲に変換するS字型の関数である。歴史的に広く用いられたが、勾配消失問題（入力が大きいまたは小さい領域で勾配がほぼゼロになる）のため、深いネットワークでの学習が困難になる欠点がある。
2.1.2 ReLU関数
ReLU（Rectified Linear Unit）関数は、入力が正の場合はそのまま出力し、負の場合は0を出力する。計算が単純で勾配消失問題が起こりにくく、深層ネットワークの標準的な活性化関数として広く採用されている。ただし、負の領域で勾配がゼロになる「ニューロン死」の問題があるため、Leaky ReLUなどの派生形も存在する。
2.2 層の種類
2.2.1 全結合層
全結合層（Dense層）は、前の層のすべてのニューロンが次の層のすべてのニューロンと結合する層である。特徴量の高次元な組み合わせを学習できるが、パラメータ数が膨大になりやすく、画像などの空間構造を無視するため、専用の層に取って代わられることが多い。
2.2.2 畳み込み層
畳み込み層は、小さなフィルタ（カーネル）を入力画像全体にスライドさせて特徴マップを生成する。局所受容野と重み共有により、パラメータ数を大幅に削減し、画像内の位置不変性を学習できる。画像認識をはじめとする空間データの処理に不可欠である。
2.2.3 プーリング層
プーリング層は特徴マップの空間サイズを縮小し、計算量を削減するとともに、微小な位置ずれに対するロバスト性を向上させる。最大値プーリング（Max pooling）や平均値プーリング（Average pooling）が代表的な手法である。
2.3 ネットワークのアーキテクチャ
ネットワークアーキテクチャは層の積み重ね方や結合の仕方を定義する。単純な順伝播型（フィードフォワード）ネットワークのほか、再帰型（RNN）、スキップ接続を持つResNet、密結合型のDenseNet、マルチブランチ構造のInceptionなど多様な設計が存在する。アーキテクチャの選択はタスクの特性に大きく依存する。
3 学習プロセス
3.1 損失関数
損失関数はモデルの予測と真のラベルとの誤差を定量化する。回帰タスクでは平均二乗誤差、分類タスクでは交差エントロピー損失が一般的に用いられる。損失関数の値が最小となるようにモデルパラメータを調整することで学習が進む。
3.2 最適化アルゴリズム
3.2.1 確率的勾配降下法
確率的勾配降下法（SGD）は、全データではなくランダムに選んだ1サンプルまたはミニバッチの勾配を用いてパラメータを更新する。計算効率が高く、局所最適解から脱出しやすい一方、学習率の調整が重要となる。
3.2.2 Adam
AdamはSGDにモーメンタムと適応的な学習率調整を組み合わせた最適化アルゴリズムである。各パラメータに個別の学習率を自動調整し、初期設定で良好な収束性能を示すため、現在の深層学習で最も広く使われている手法の一つである。
3.3 誤差逆伝播法
誤差逆伝播法は、損失関数の勾配を出力層から入力層へ逆向きに伝播させ、連鎖律を用いて各層のパラメータ（重みとバイアス）の勾配を効率的に計算するアルゴリズムである。これにより、多層ネットワーク全体の学習が可能となる。
3.4 正則化手法
3.4.1 ドロップアウト
ドロップアウトは、訓練時にランダムに一部のニューロンを無効にする手法で、過学習を抑制する。無効にされたニューロンはそのミニバッチでは更新されず、あたかも複数の異なるネットワークをアンサンブルしているような効果が得られる。
3.4.2 バッチ正規化
バッチ正規化は、各層の入力分布をミニバッチごとに平均0、分散1に正規化する手法である。内部共変量シフトを軽減し、学習を安定化・高速化する。また、わずかな正則化効果もあるため、ドロップアウトの代わりとしても用いられる。
4 主要なモデルと応用
4.1 畳み込みニューラルネットワーク
4.1.1 画像認識
畳み込みニューラルネットワーク（CNN）は画像認識に革命をもたらした。AlexNet、VGGNet、ResNet、EfficientNetなど、層の深さや接続方式の改良により、人間を超える認識精度を達成している。物体検出（YOLO, Faster R-CNN）、セマンティックセグメンテーション（U-Net）など派生タスクにも広く応用される。
4.2 リカレントニューラルネットワーク
4.2.1 LSTMとGRU
リカレントニューラルネットワーク（RNN）は系列データの処理に適するが、長い系列では勾配消失・爆発が問題となる。LSTM（Long Short-Term Memory）は、忘却ゲート・入力ゲート・出力ゲートを導入して長期依存を学習できるようにした。GRU（Gated Recurrent Unit）はLSTMを簡略化し、計算効率と性能を両立した改良版である。
4.2.2 自然言語処理
RNN系列のモデルは機械翻訳、テキスト生成、感情分析などの自然言語処理（NLP）タスクで広く使われた。ただし、逐次処理のため並列化が難しく、後にトランスフォーマーに主流を譲ることになる。
4.3 トランスフォーマー
トランスフォーマーは、再帰構造を排し、自己注意機構（Self-Attention）と並列処理を導入したアーキテクチャである。2017年の論文「Attention Is All You Need」で提案され、機械翻訳で高い性能を示した。その後、BERTやGPTなどの大規模言語モデルの基盤となり、NLP領域を席巻した。さらに画像（Vision Transformer）や音声など他モダリティへも応用が拡大している。
4.4 生成モデル
生成モデルはデータの分布を学習し、新たなサンプルを生成する。代表的なものに、敵対的生成ネットワーク（GAN）と変分オートエンコーダ（VAE）、拡散モデルがある。GANは画像生成で高品質な成果を挙げ、拡散モデルはDALL-EやStable Diffusionなどテキストからの画像生成で注目された。
5 課題と将来展望
5.1 計算コスト
深層ニューラルネットワークの訓練と推論には莫大な計算資源と電力が必要となる。大規模モデルでは数千GPU日を要する場合があり、環境負荷やコストが問題となっている。モデル圧縮、量子化、蒸留、効率的なアーキテクチャ探索などの研究が進められている。
5.2 過学習と汎化
モデルが訓練データに過度に適合し、未知データに対する性能が低下する過学習は常に課題である。正則化、データ拡張、交差検証などの対策があるが、特にデータ不足やノイズの多い状況では注意が必要である。また、分布外サンプルへの汎化能力は依然として限定的である。
5.3 解釈可能性
深層ニューラルネットワークは「ブラックボックス」と評され、その判断根拠を人間が理解するのが難しい。医療診断や自動運転など信頼性が求められる分野では、説明可能なAI（XAI）の開発が急務である。グレースケール可視化、注意機構の分析、SHAPやLIMEなどの手法が提案されている。
5.4 今後の研究方向
今後の研究は、より少ないデータ・計算資源で高性能を達成するための手法（Few-shot学習、自己教師あり学習）、マルチモーダル統合、ロバスト性の向上、人間の脳や認知科学との融合など多岐にわたる。また、エネルギー効率の高いハードウェア（ニューロモルフィックチップ）や、プライバシー保護技術（連合学習）の発展も重要な方向性である。