1 基本概念
1.1 定義と歴史
ディープラーニングは、多層のニューラルネットワークを用いてデータから階層的な特徴表現を自動学習する機械学習の一分野である。1950年代にパーセプトロンが登場し、1980年代には誤差逆伝播法の確立により多層化が可能となった。2006年にHintonらが層ごとの事前学習手法を提案し、2012年のAlexNetによる画像認識での画期的な成功を契機に爆発的に発展した。以降、大規模データとGPU計算の進化に支えられ、従来の手法を凌駕する性能を達成している。
1.2 ニューラルネットワークの仕組み
1.2.1 ニューロンと活性化関数
ニューラルネットワークの基本単位はニューロンであり、入力値に重みを掛けてバイアスを加えた総和を活性化関数で変換して出力する。代表的な活性化関数には、シグモイド関数（0-1の範囲に圧縮）、ReLU関数（正の入力はそのまま、負は0に）、tanh関数（-1から1）などがある。ReLUは勾配消失を軽減し、深いネットワークで広く使われる。
1.2.2 層とパラメータ
ニューロンは層状に配置され、入力層、隠れ層、出力層から構成される。隠れ層が複数あるものを深層（ディープ）ネットワークと呼ぶ。各層間の結合には重みパラメータがあり、ネットワーク全体のパラメータ数は層の幅と深さに比例して膨大になる。これらのパラメータを学習データから最適化することで、ネットワークは目的のタスクを実行できるようになる。
1.3 ディープラーニングが効果的な理由
ディープラーニングが効果的な理由は、多層構造により低レベルから高レベルまでの抽象的な特徴を自動抽出できる点にある。例えば画像認識では、エッジ、テクスチャ、物体部品といった階層的な特徴が各層で学習される。また、大量のデータに対して表現能力が高く、従来の機械学習で必要だった手作業の特徴量設計が不要となる。さらに、GPUやTPUなどの並列計算ハードウェアの進歩により、大規模モデルの学習が現実的になった。
2 主要なネットワークアーキテクチャ
2.1 畳み込みニューラルネットワーク（CNN）
2.1.1 畳み込み層とプーリング層
CNNは画像のような格子状データに適したアーキテクチャである。畳み込み層では、フィルタ（カーネル）を入力画像上でスライドさせ、局所的な特徴を抽出する。プーリング層では、一定領域内の最大値や平均値を取り出すことで、位置ずれに対するロバスト性を得るとともに、空間サイズを縮小する。これらを繰り返すことで、階層的な特徴マップを得る。
2.1.2 代表的なCNNモデル
代表的なCNNモデルとして、AlexNet（2012年）、VGGNet（層を深くしたシンプルな構造）、GoogLeNet（Inceptionモジュールによる多スケール特徴抽出）、ResNet（残差接続による超深層化の実現）、EfficientNet（幅・深さ・解像度のバランス最適化）などがある。これらのモデルは画像分類、物体検出、セグメンテーションなどで高い性能を示す。
2.2 リカレントニューラルネットワーク（RNN）
2.2.1 系列データと隠れ状態
RNNは時系列やテキストなどの系列データを扱うために設計された。前の時刻の隠れ状態を次の時刻の入力に回帰させることで、系列全体の文脈を保持する。しかし、長期依存関係の学習が難しく、勾配消失・爆発を起こしやすい欠点がある。
2.2.2 LSTMとGRU
LSTM（Long Short-Term Memory）は、忘却ゲート、入力ゲート、出力ゲートを用いて長期記憶と短期記憶を制御し、勾配消失問題を緩和した。GRU（Gated Recurrent Unit）はLSTMを簡略化し、更新ゲートとリセットゲートのみで同等の性能を達成する。どちらも機械翻訳、音声認識、文章生成などで広く使われたが、近年はTransformerに取って代わられつつある。
2.3 Transformer
2.3.1 アテンション機構
Transformerは2017年にVaswaniらによって提案され、RNNを用いずにアテンション機構だけで系列データを処理する。自己アテンション（Scaled Dot-Product Attention）により、系列内の任意の位置間の依存関係を直接モデリングし、並列計算が可能となった。マルチヘッドアテンションで複数の表現空間を同時に学習する。位置エンコーディングによって順序情報を付加する。
2.3.2 BERTとGPTへの発展
Transformerエンコーダを積み重ねたBERT（Bidirectional Encoder Representations from Transformers）は、マスクされた単語の予測（MLM）と次文予測（NSP）により、双方向の文脈理解を実現。一方、GPTはデコーダのみを用いた自己回帰言語モデルで、大規模化とスケーリング則により強力な生成能力を示した。これらは自然言語処理の基盤モデルとなり、ファインチューニングやプロンプト学習で多様なタスクに応用される。
2.4 敵対的生成ネットワーク（GAN）
GANは、生成器（Generator）と識別器（Discriminator）を敵対的に学習させる枠組みである。生成器は本物のようなデータを生成し、識別器は本物と偽物を見分ける。両者の競争により、生成器は徐々に現実的なデータを生成できるようになる。画像生成、スタイル変換、超解像などに応用される。改良版としてDCGAN、WGAN、StyleGANなどがあるが、学習が不安定であるという課題も残る。
2.5 オートエンコーダ
オートエンコーダは、入力データを低次元の潜在表現に圧縮するエンコーダと、そこから入力データを復元するデコーダからなる。教師なし学習でデータの特徴を学び、次元削減や異常検知に使われる。変分オートエンコーダ（VAE）は、潜在空間を確率分布としてモデル化し、新しいデータの生成が可能。デノイジングオートエンコーダは入力にノイズを加えることでロバストな表現を学習する。
3 学習のメカニズム
3.1 誤差逆伝播法
3.1.1 勾配計算の仕組み
誤差逆伝播法（Backpropagation）は、ニューラルネットワークの学習に使われる勾配計算のアルゴリズムである。出力層から入力層に向かって、損失関数の各パラメータに対する偏微分を連鎖律で効率的に計算する。これにより、ネットワーク全体の勾配を一度の順伝播と逆伝播で求め、確率的勾配降下法などの最適化に利用できる。
3.1.2 勾配消失・爆発問題
深いネットワークでは、逆伝播時に勾配が層を経るごとに指数関数的に減少（消失）または増大（爆発）することがある。シグモイドやtanhの活性化関数は勾配消失を起こしやすい。ReLUの導入や、バッチ正規化、残差接続（ResNet）などが対策として有効である。また、勾配クリッピングにより爆発を防ぐことも行われる。
3.2 最適化アルゴリズム
3.2.1 確率的勾配降下法（SGD）
SGDは、ミニバッチごとに勾配を計算し、パラメータを更新する手法である。学習率を適切に設定する必要があり、局所最適解や鞍点に陥りやすい。モメンタム項を加えたSGD-Momentumは、過去の勾配の方向を考慮して更新を加速する。
3.2.2 Adamとその派生
Adamは、モメンタムと適応的学習率（RMSprop）を組み合わせた最適化アルゴリズムで、各パラメータの勾配の一次モーメントと二次モーメントを指数移動平均で推定し、更新量を調整する。ほとんどのタスクで安定した収束を示す。派生として、AMSGrad（収束の理論的保証を改善）、AdamW（重み減衰の分離）、RAdam（初期の学習率の不安定性を軽減）などがある。
3.3 損失関数と正則化
3.3.1 交差エントロピー損失と平均二乗誤差
分類タスクでは交差エントロピー損失が標準的に用いられる。これは予測確率と真のラベルとのクロスエントロピーを最小化する。回帰タスクでは平均二乗誤差（MSE）が一般的で、予測値と真値の差の二乗平均を計算する。出力層の活性化関数と組み合わせて使われる。
3.3.2 ドロップアウトとバッチ正規化
ドロップアウトは、学習時にランダムにニューロンを無効化することで、過学習を抑制する正則化手法である。アンサンブル効果に類似し、モデルの汎化性能を向上させる。バッチ正規化は、各層の出力をミニバッチ単位で平均0、分散1に正規化し、内部共変量シフトを軽減する。学習を安定化させ、高い学習率を許容し、過学習の抑制にも寄与する。
4 主要な応用分野
4.1 画像認識とコンピュータビジョン
4.1.1 物体検出とセグメンテーション
物体検出（YOLO、Faster R-CNN、SSD）は、画像中の物体の位置とクラスを同時に推定する。セマンティックセグメンテーション（U-Net、DeepLab）は、各ピクセルをカテゴリに分類する。インスタンスセグメンテーション（Mask R-CNN）は、個別の物体単位での領域分割を行う。これらは自動運転、医療画像解析、監視システムなどで実用化されている。
4.1.2 顔認識と画像生成
顔認識（FaceNet、ArcFace）は、顔画像を埋め込みベクトルに変換し、類似度に基づいて個人を識別する。画像生成では、GANや拡散モデル（Stable Diffusion、DALL-E）により、高品質な画像をテキストや条件から合成できる。スタイル変換（CycleGAN）や超解像（SRGAN）などの応用も広がっている。
4.2 自然言語処理
4.2.1 機械翻訳と文章生成
機械翻訳では、Transformerベースのモデル（Google翻訳、DeepL）が主流で、文脈を考慮した高精度な翻訳を実現する。文章生成では、GPTシリーズのような大規模言語モデルが、プロンプトに基づいて自然なテキストを生成し、チャットボット、要約、創作支援などに利用される。
4.2.2 感情分析と質問応答
感情分析は、テキストからポジティブ/ネガティブなどの感情を分類する。質問応答は、与えられた文脈に基づいて質問に答え、SQuADデータセットなどで評価される。BERTやRoBERTaなどのモデルが高い精度を示す。また、BERTを用いた検索エンジンやカスタマーサポートの自動応答にも応用されている。
4.3 音声処理
音声認識（DeepSpeech、Whisper）は、音声波形をテキストに変換する。ディープラーニングにより、ノイズ環境や多言語対応が進んだ。音声合成（WaveNet、Tacotron）では、自然な発話を生成し、アシスタント（Siri、Alexa）やナレーションシステムに使われる。話者識別、音源分離、音楽生成なども発展している。
4.4 医療・創薬
医療画像診断では、CNNを用いたX線、CT、MRI画像の解析が行われ、病変の検出や分類を支援する。病理組織画像の解析、皮膚がんの識別などで実績がある。創薬では、深層学習を用いて分子構造の予測（AlphaFold）、薬剤と標的タンパク質の相互作用の予測、化合物の活性予測などが行われ、開発の効率化に貢献している。
4.5 自動運転
自動運転では、CNNやTransformerを用いた物体検出（歩行者、車両、信号）、セマンティックセグメンテーション（道路、標識）、経路計画、制御が統合される。ディープラーニングはカメラ画像だけでなく、LiDAR点群やレーダーデータの処理にも用いられ、環境認識と意思決定の中核技術となっている。レベル4以上の自動運転システムへの応用が進められている。
5 課題と将来の方向性
5.1 計算リソースと大規模化
ディープラーニングのモデルは巨大化しており、GPT-3（1750億パラメータ）やPaLM（5400億パラメータ）などの学習には莫大な計算リソースと電力が必要である。このため、環境負荷やアクセス性の格差が問題となる。軽量化手法（蒸留、量子化、プルーニング）や、効率的なアーキテクチャ（Mixture of Experts）の研究が進んでいる。
5.2 データ不足とラベル付け問題
多くのタスクでは大量のラベル付きデータが必要だが、医療データや専門家の判断が必要な分野ではデータ収集が困難である。ラベル付けのコストも高い。これに対し、半教師あり学習、自己教師あり学習、Few-shot学習、データ拡張などの技術が発展しており、未ラベルデータの活用が期待される。
5.3 解釈可能性と信頼性
ニューラルネットワークはブラックボックス的であり、その判断根拠を人間が理解することが難しい。医療や金融などの重要な判断には説明可能性が求められる。Grad-CAM、SHAP、LIMEなどの可視化・説明手法が提案されている。また、敵対的攻撃に対する脆弱性も課題であり、ロバスト性の向上が必要である。
5.4 フェアネスとバイアス
学習データに含まれる社会的バイアス（性別、人種、地域など）がモデルに反映される問題がある。例えば、顔認識での誤認識率の偏りや、言語モデルでのステレオタイプの強化が指摘されている。公平性を考慮したデータ収集やアルゴリズムの設計、バイアス検出・緩和手法の研究が重要である。
5.5 未来の技術展望
5.5.1 自己教師あり学習とFew-shot学習
自己教師あり学習（SimCLR、MAE、DINO）は、ラベルなしデータから教師信号を自動生成し、大規模な事前学習を可能にする。Few-shot学習は、少数の例から新しいタスクを学習する能力を目指す。メタ学習やプロンプト学習の発展により、より少ないデータで汎用性の高いモデルが期待される。
5.5.2 ニューラルアーキテクチャサーチ（NAS）
NASは、自動的に最適なネットワーク構造を探索する技術である。強化学習や進化的アルゴリズム、勾配ベースの手法を用いて、タスクに特化したアーキテクチャを設計する。計算コストが高かったが、効率化手法（ENAS、DARTS）により実用化が進み、軽量で高性能なモデルの自動発見につながっている。