1 基礎概念
1.1 ニューラルネットワークの基本構造
ニューラルネットワークは、生物の神経回路網を模した計算モデルである。基本単位はニューロン（ノード）であり、入力値に重みを乗じてバイアスを加え、活性化関数を通して出力を生成する。複数のニューロンが層状に結合され、入力層、隠れ層、出力層を構成する。隠れ層の数が多いものを「深層」ニューラルネットワークと呼び、これが深層学習の基盤となる。各層のニューロンは前層の全ニューロンと結合する全結合層が基本だが、後述する畳み込みや再帰構造など、タスクに特化した結合パターンも用いられる。
1.2 活性化関数と損失関数
活性化関数はニューロンの出力に非線形性を与える役割を担う。代表的なものにシグモイド関数、tanh関数、ReLU（正規化線形関数）がある。ReLUは勾配消失問題を緩和し、計算効率が高いため、現在の深層学習で最も広く使われる。損失関数はモデルの予測と正解との誤差を定量化する。回帰問題では平均二乗誤差（MSE）、分類問題では交差エントロピー誤差が一般的である。損失関数の値を最小化することが学習の目的となる。
1.3 誤差逆伝播法と勾配降下法
誤差逆伝播法（バックプロパゲーション）は、出力層から入力層に向かって損失関数の勾配を計算するアルゴリズムである。連鎖律（チェインルール）を利用して各重みの影響を効率的に求める。得られた勾配を用いて、勾配降下法により重みを更新する。勾配降下法は損失関数が減少する方向にパラメータを少しずつ移動させる手法で、ミニバッチ単位で更新する確率的勾配降下法（SGD）が実用的である。学習率（ステップサイズ）の調整が収束性能に大きく影響する。
2 歴史と発展
2.1 初期のニューラルネットワーク（パーセプトロンからバックプロパゲーションへ）
1958年、フランク・ローゼンブラットがパーセプトロンを発表。単層のニューラルネットワークで線形分類が可能だが、XOR問題など非線形問題を解けないことが指摘された（1969年、ミンスキーとパパート）。この限界により第一次AI冬の時代が到来。その後、1986年にラメルハートらが誤差逆伝播法を再発見し、多層パーセプトロン（MLP）の学習が可能になり、再び注目を集めた。
2.2 冬の時代と再興
1990年代後半から2000年代初頭、SVMやランダムフォレストなど他の機械学習手法が台頭し、ニューラルネットワークは再び下火となった（第二次冬の時代）。しかし、大規模データセットの登場、GPUによる高速演算、DropoutやReLUなどの技術改良によって、2006年頃からディープラーニング（深層学習）として復活。ジェフリー・ヒントンの研究が契機となった。
2.3 ImageNet挑戦とAlexNetの衝撃（2012年）
2012年、Alex KrizhevskyらのAlexNetが画像認識コンペティションImageNet Large Scale Visual Recognition Challenge（ILSVRC）で従来手法を圧倒的な差で制した。GPUを用いた深層畳み込みニューラルネットワーク（CNN）の威力を示し、深層学習の研究と応用が爆発的に拡大する転機となった。
2.4 近年のブレークスルー（Transformer、生成モデル）
2017年、GoogleがTransformerアーキテクチャを発表。自己注意機構により系列データの並列処理と長距離依存の学習が可能になり、自然言語処理で革命を起こした。さらにBERT（2018年）、GPTシリーズ（2018年～）などの大規模言語モデルが登場。また、GAN（2014年）や拡散モデル（2020年頃）などの生成モデルが画像生成で高い性能を示し、AIによる創造性の領域を広げている。
3 主要なアーキテクチャ
3.1 畳み込みニューラルネットワーク（CNN）
3.1.1 畳み込み層とプーリング層
CNNは画像データの局所的なパターン（エッジ、テクスチャ、物体の部品など）を階層的に捉えるために設計された。畳み込み層では小さなフィルタ（カーネル）を画像全体にスライドさせ、各位置で内積を計算する。これによりパラメータ共有と並進不変性が実現される。プーリング層（最大プーリングなど）は空間サイズを縮小し、計算量削減と微小な位置変化へのロバスト性を提供する。
3.1.2 代表的なCNNモデル（VGG、ResNet、EfficientNet）
VGG（2014年）はシンプルな3×3畳み込みの積層で高い性能を示した。ResNet（2015年）は残差接続（スキップ接続）を導入して深いネットワークの学習を可能にし、152層のモデルでILSVRC優勝。EfficientNet（2019年）はネットワークの深さ、幅、解像度を均等にスケーリングする手法で、少ないパラメータで高い精度を達成した。
3.2 再帰型ニューラルネットワーク（RNN）
3.2.1 LSTMとGRU
RNNは系列データ（時系列、テキストなど）を扱うための構造で、隠れ状態を時間方向に伝播させる。しかし勾配消失・爆発問題により長期記憶が困難だった。LSTM（Long Short-Term Memory、1997年）は忘却ゲート、入力ゲート、出力ゲートを持つセル状態を導入し、長期依存関係の学習を可能にした。GRU（2014年）はLSTMを簡略化し、リセットゲートと更新ゲートのみで同等の性能を実現、計算効率が向上した。
3.2.2 系列データへの応用
RNN系モデルは機械翻訳（Seq2Seq）、音声認識、文中の次単語予測（言語モデル）などに広く用いられた。しかしTransformerの登場により、多くのタスクで置き換えられつつある。それでも、短い時系列やストリーム処理などでは今なお活用される。
3.3 Transformer
3.3.1 自己注意機構とマルチヘッドアテンション
Transformerの核心は自己注意機構であり、系列内の各位置が他の全位置との関連度（アテンション重み）を計算する。これにより並列処理が可能で、長距離依存も捉えやすい。マルチヘッドアテンションは複数の異なる注意機構を並列に実行し、異なる表現部分空間から情報を抽出する。位置エンコーディングによって系列の順序情報を与える。
3.3.2 BERT、GPTシリーズなど
BERT（Bidirectional Encoder Representations from Transformers）は双方向の文脈を利用した事前学習モデルで、マスクされた単語の予測と次文予測により学習。GPT（Generative Pre-trained Transformer）は自己回帰的な言語モデルで、大規模なテキストから学習し、指示に基づく回答生成（ChatGPTなど）に発展した。BERTとGPTはそれぞれエンコーダ型とデコーダ型の代表であり、転移学習により多様なNLPタスクで最高性能を達成している。
3.4 生成モデル
3.4.1 生成敵対ネットワーク（GAN）
GAN（Generative Adversarial Network、2014年）は生成器（Generator）と識別器（Discriminator）が競合するように学習する。生成器は偽のデータを生成し、識別器は本物と偽物を判別する。この対抗学習により生成器は実データと見分けがつかない高品質なサンプルを生成できるようになる。画像生成、超解像、スタイル変換などに応用されたが、学習が不安定な課題がある。
3.4.2 拡散モデル
拡散モデル（Denoising Diffusion Probabilistic Models、2020年頃）はデータにノイズを段階的に加える前方過程と、ノイズから元のデータを復元する逆過程を学習する。GANより安定して高品質な生成が可能で、DALL·E 2、Stable Diffusionなどの画像生成モデルで採用された。現在、画像、音声、動画生成で主流の手法の一つである。
4 学習技術と最適化
4.1 過学習対策（正則化、ドロップアウト、バッチ正規化）
過学習（オーバーフィッティング）を防ぐための代表的な手法として、L1/L2正則化（重みの大きさにペナルティ）、ドロップアウト（学習時にランダムにニューロンを無効化）、バッチ正規化（ミニバッチごとに活性化値を正規化）がある。ドロップアウトはアンサンブル効果により汎化性能を高め、バッチ正規化は内部共変量シフトを抑制し、高い学習率を可能にする。
4.2 学習率スケジューリングと最適化アルゴリズム（Adam、SGD）
学習率スケジューリングは訓練中に学習率を変化させる手法で、ステップ減衰、コサイン減衰、ウォームアップなどがある。最適化アルゴリズムとしては、SGD（確率的勾配降下法）にモメンタムを加えたものが古典的。Adam（Adaptive Moment Estimation、2014年）は勾配の一次モーメントと二次モーメントを適応的に調整し、多くのタスクで安定した収束を示す。現在ではAdamW（重み減衰を分離した改良版）がよく使われる。
4.3 転移学習とファインチューニング
大規模データセット（ImageNetなど）で事前学習されたモデルを、目的タスクの小規模データで微調整（ファインチューニング）する手法。これにより少ないデータと計算資源で高い性能が得られる。特にBERTやGPTのような大規模言語モデルでは必須の技術。また、特徴抽出器として利用する方法もある。
4.4 データ拡張とラベルなしデータの活用（自己教師学習）
データ拡張は、元のデータに回転、反転、色変化などの変換を加えて訓練データを水増しする手法で、過学習低減と汎化性能向上に寄与する。ラベルなしデータを活用する自己教師学習（SimCLR、MoCo、BYOLなど）は、画像内の拡張ペア間で一致する表現を学習するコントラスト学習が代表的。大規模なラベルなしデータから質の高い表現を獲得でき、下流タスクで優れた性能を発揮する。
5 応用分野
5.1 コンピュータビジョン（画像認識、物体検出、セグメンテーション）
画像認識（分類）ではResNet、EfficientNetなどのCNNが標準。物体検出ではYOLOシリーズやFaster R-CNNがリアルタイム検出を実現。セグメンテーション（画像の画素単位ラベリング）ではU-NetやMask R-CNNが医療画像や自動運転で使われる。近年ではVision Transformer（ViT）も台頭している。
5.2 自然言語処理（翻訳、感情分析、質問応答、チャットボット）
機械翻訳ではTransformerベースのモデルが高い精度を達成（Google翻訳など）。感情分析や質問応答はBERTのファインチューニングで実用的。チャットボットではGPTシリーズ（ChatGPT）が広く利用され、対話、要約、コード生成など多様なタスクをこなす。
5.3 音声処理（音声認識、音声合成、話者識別）
音声認識はウェーブネットやTransformer、CTC損失を用いたエンドツーエンドモデルが主流（Google音声検索、Siriなど）。音声合成ではWaveNet、Tacotron、VITSなどの深層学習モデルが自然な発話を生成。話者識別は話者埋め込み（x-vector）により個人識別を行う。
5.4 医療・創薬（画像診断、タンパク質構造予測）
医療画像診断ではCNNを用いた腫瘍検出、網膜画像解析などが実用化。創薬分野ではDeepMindのAlphaFold2がタンパク質構造予測で画期的な成果を挙げ、薬剤設計に貢献している。また、電子カルテデータの解析にも深層学習が応用される。
5.5 自動運転とロボティクス
自動運転ではCNNによる物体検出・セマンティックセグメンテーション、RNNやTransformerによる経路予測が用いられる。ロボティクスでは深層強化学習により把持や移動の制御を学習。模倣学習も重要で、環境認識から行動計画まで深層学習が多層的に使われている。
5.6 レコメンデーションと広告配信
ユーザーの行動履歴を深層学習モデルで処理し、コンテンツや商品のレコメンデーションを行う。ニューラル協調フィルタリング、DIN（Deep Interest Network）などが代表的。広告配信ではクリック率予測にWide&DeepモデルやDeepFMが使われ、収益最適化に貢献している。
6 課題と限界
6.1 データ依存性とラベルコスト
深層学習は大量のラベル付きデータを必要とする。特に医療や専門家の判断が必要な分野ではデータ収集にコストがかかる。弱教師あり学習や半教師あり学習、自己教師学習が研究されているが、完全な解決には至っていない。
6.2 ブラックボックス性と説明可能性
深層モデルは内部表現が複雑で、なぜその出力に至ったかの説明が難しい。医療や金融など説明責任が求められる領域では、このブラックボックス性が導入障壁となる。Grad-CAMやSHAPなどの説明手法が提案されているが、モデルの理解には限界がある。
6.3 計算資源とエネルギー消費
大規模モデルの学習には莫大なGPU時間と電力を要する。GPT-3の学習には数千万ドル規模のコストがかかったとされ、環境負荷も懸念される。モデル圧縮、蒸留、効率的なアーキテクチャ設計（EfficientNet、MobileNet）による軽量化が進められている。
6.4 敵対的攻撃への脆弱性
人間には知覚できない微小な摂動を入力に加えることで、モデルを誤分類させる敵対的例が存在する。自動運転や顔認証システムにおいて深刻なセキュリティリスクとなる。対抗学習や入力変換による防御が研究されているが、完全な耐性は難しい。
6.5 バイアスと公平性の問題
訓練データに含まれる社会的バイアス（人種、性別、年齢など）をモデルが学習し、差別的な出力をすることがある。顔認識の精度が特定の人種で低い例や、採用AIが性別バイアスを示す例が報告されている。データの偏り緩和や公平性制約の導入が必要とされている。
7 将来展望
7.1 より効率的な学習（Few-shot/Zero-shot学習）
少数例のみで学習するFew-shot学習や、事前学習だけで新しいタスクを解くZero-shot学習が注目されている。大規模言語モデル（GPT-3/4）はプロンプト設計によりZero-shotで多くのタスクをこなせる。メタ学習やプロンプトチューニングの研究が進み、データ効率の向上が期待される。
7.2 ニューラルネットのハードウェア実装（ニューロモルフィックチップ）
脳の神経構造を模倣したニューロモルフィックコンピューティングにより、超低消費電力でスパイキングニューラルネットワークを実行するチップが開発されている（IntelのLoihi、IBMのTrueNorthなど）。深層学習の推論をエッジデバイスで効率的に行う可能性がある。
7.3 マルチモーダル統合と汎用人工知能への道
画像、テキスト、音声、動画など複数のモダリティを統合するモデル（CLIP、DALL·E、GPT-4Vなど）が登場。異なる情報を同時に理解・生成する能力は、人間のような汎用的知能への一歩と見なされる。また、世界モデルや常識推論の獲得が汎用人工知能（AGI）実現の鍵とされる。
7.4 深層学習と社会：倫理・規制・ポップカルチャー（なぜか猫画像の生成ばかり求められる現実）
深層学習の急速な普及に伴い、プライバシー、雇用への影響、偽情報（ディープフェイク）などの倫理的課題が顕在化している。EUのAI規制法など法的枠組みの整備が進む。一方、ポップカルチャーでは、画像生成AIが「猫画像」を大量に生成するミームが定着し、インターネット文化の一部となっている。これは深層学習が一般ユーザーに身近な存在になった象徴であり、創造的利用とともに、悪用防止の議論も続いている。