1 背景と開発経緯
1.1 ImageNet大規模視覚認識チャレンジの概要
ImageNet Large Scale Visual Recognition Challenge（ILSVRC）は、スタンフォード大学のフェイフェイ・リーらが構築した大規模画像データセットImageNetを用いた年次コンペティションである。1000カテゴリ、約120万枚の訓練画像を対象に、画像分類と物体検出の精度を競う。2010年の開始当初は、従来の手工特徴量と機械学習手法（SIFT、Fisher Vectorなど）が主流であったが、トップ5エラー率は28%程度に留まっていた。
1.2 深層学習ブームへの先駆的役割
AlexNetはILSVRC 2012でトップ5エラー率15.3%を達成し、2位（26.2%）に10ポイント以上の差をつけて優勝した。この結果は、深層学習が従来手法を圧倒できることを実世界規模で示し、コンピュータビジョン分野における深層学習ブームの火付け役となった。以降、GPUと大規模データを活用した深層CNNが主流となる。
2 アーキテクチャ
2.1 全体構成
2.1.1 8層のネットワーク（5層の畳み込み層＋3層の全結合層）
AlexNetは入力画像（227×227×3）を処理する8層の深さを持つ。最初の5層は畳み込み層（一部にプーリング層を併設）、続く3層は全結合層である。最終全結合層は1000ユニットで、ソフトマックス関数によりクラス確率を出力する。各畳み込み層では、サイズ11×11、5×5、3×3のフィルタが使用され、ストライドやパディングが調整されている。
2.2 活性化関数：ReLUの採用
従来のシグモイドやtanh関数に代わり、正規化線形ユニット（ReLU）を全畳み込み層と全結合層に採用した。ReLUは勾配消失問題を緩和し、学習速度を大幅に向上させる。AlexNetの実験では、ReLUを用いたネットワークがtanh版の6倍の速度で収束することが確認された。
2.3 正則化手法
2.3.1 ドロップアウト
過学習を防ぐため、最初の2つの全結合層にドロップアウト（確率0.5）を適用した。訓練時にはランダムに半数近くのニューロンを無効化し、テスト時には全てのニューロンを用いて出力を2倍にする。これにより、ニューロン間の共同適応を抑制し、汎化性能が向上した。
2.3.2 データ拡張
訓練データを人為的に増やすため、2種類のデータ拡張を実施した。1つ目は、元画像からランダムに224×224の領域を切り出し、水平反転を加える方法（訓練画像数を2048倍に増加）。2つ目は、RGBチャネルの輝度値を主成分分析し、その固有ベクトル方向にノイズを加えることで、照明変化に対する頑健性を高めた。
2.4 局所応答正規化（LRN）
畳み込み層の出力に局所応答正規化（Local Response Normalization）を導入し、局所的に強い活動を抑制した。これは隣接するチャネル間での応答を正規化する処理で、生物学的な側方抑制に着想を得ている。現在ではバッチ正規化などの手法に取って代わられたが、当時は収束の安定化に寄与した。
2.5 並列処理のためのGPU分割
当時のGPU（NVIDIA GTX 580、3GBメモリ）では全ネットワークを1枚に収めきれないため、2枚のGPUにネットワークを分割した。前半の畳み込み層ではGPU間の通信を制限し、後半の全結合層では相互接続を行った。この分割戦略は、モデル並列化の初期実装としても特徴的である。
3 訓練方法
3.1 確率的勾配降下法（SGD）の設定
モーメンタム項（0.9）を付加した確率的勾配降下法を採用。重み減衰（weight decay）は0.0005に設定し、正則化効果と同時に学習過程での重み増大を抑えた。各GPUのバッチサイズは128（合計256）で、訓練開始時の重みはガウス分布（平均0、標準偏差0.01）で初期化した。
3.2 学習率スケジューリング
初期学習率は0.01とし、訓練中に手動で減少させた。具体的には、検証エラーが停滞した時点で学習率を10分の1に減らす方針をとり、最終的に0.0001まで低下させた。合計で約90サイクル（エポック）の訓練を実施した。
3.3 バッチサイズとエポック数
バッチサイズ128、モーメンタム0.9、バッチ内で平均化されたSGDを用いた。約90エポックの訓練で収束し、120万枚の画像を処理するのに5〜6日間を要した。
4 性能と影響
4.1 ILSVRC 2012での結果
AlexNetはトップ5エラー率15.3%を達成し、2位チーム（26.2%）を大きく引き離した。この結果は、深層学習が画像認識タスクで圧倒的優位に立つことを世界に示し、ILSVRCの以後の趨勢を一変させた。
4.2 他のアーキテクチャへの影響
4.2.1 VGGNet、GoogLeNet、ResNetへの道
AlexNetの成功を受けて、より深く効率的なネットワークが相次いで登場した。VGGNetは小さな3×3フィルタを積み重ねて層を深くし、GoogLeNet（Inception）はネットワーク内のネットワーク構造でパラメータ効率を高めた。ResNetは残差接続により100層以上の学習を可能にし、AlexNetを起点とする深層CNNの進化の系譜を形成した。
4.3 コンピュータビジョン業界への波及効果
AlexNetは物体検出（R-CNNなど）、セグメンテーション、画像キャプショニングなどへ急速に応用範囲を広げた。また、GPUを利用した深層学習フレームワーク（Caffe、TensorFlow、PyTorch）の開発を加速し、学術界・産業界の両方で深層学習の標準的ツールチェーンを確立する原動力となった。
5 関連技術と応用
5.1 転移学習
AlexNetの事前学習済み重みを特徴抽出器として他のタスクに転用する転移学習が広く行われた。ImageNetで学習された中間層の特徴は汎用的であり、少ないデータでも高精度な分類や検出が可能となる。この手法は、医学画像や衛星画像などデータが限られる領域で特に有効とされた。
5.2 物体検出・セグメンテーションへの応用
AlexNetのアーキテクチャは、R-CNNやFast R-CNNなどの領域ベース物体検出器に基盤として利用された。また、全結合層を畳み込み層に置き換え、スライディングウィンドウ的な評価を可能にする Fully Convolutional Network の先駆けともなった。セグメンテーションタスクでは、FCNやU-Netの着想に間接的な影響を与えた。
6 批判と限界
6.1 計算資源の要求
AlexNetの訓練には2枚の高性能GPU（GTX 580）を5〜6日間連続稼働させる必要があり、当時としては高コストであった。また、モデルサイズが約240MBと大きく、推論にも相応の計算資源を要した。このため、エッジデバイスやリアルタイム処理には不向きであり、後の軽量ネットワーク（MobileNet、SqueezeNet）の開発動機となった。
6.2 後の改良点
局所応答正規化（LRN）は後にバッチ正規化（Ioffe & Szegedy, 2015）に取って代わられ、より安定で高速な学習が可能になった。また、ドロップアウトに代わる正則化手法（バッチ正規化自体が正則化効果を持つ、ラベル平滑化など）や、より効率的な活性化関数（Leaky ReLU、ELU）の導入により、AlexNetの設計は徐々に最適化されていった。さらに、GPUメモリ制約に起因するネットワーク分割は、現在では単一GPUで収まるモデル設計が一般的となった。
7 レガシーと文化的影響
7.1 深層学習再興の象徴
AlexNetは、1970年代から断続的に研究されてきたニューラルネットワークが、大規模データと計算資源を武器に初めて実用的な成果を示した事例である。2012年の衝撃は、機械学習コミュニティにおける「深層学習の冬」の終焉を告げ、以降の爆発的な研究・応用の起点となった。現在では、深層学習の教科書やチュートリアルで必ず言及される入門的モデルである。
7.2 学習リソースとしてのAlexNet実装
AlexNetのアーキテクチャはシンプルかつ歴史的に重要であるため、深層学習フレームワークの公式チュートリアルやコースワークで頻繁に実装例として用いられる。ソースコード（Caffe、TensorFlow、PyTorch版）は広く公開されており、初学者が最初に実装するCNNとして、クラス分類パイプラインの理解に貢献している。そのレガシーは、技術的な成果を超えて、教育と文化の両面で深層学習コミュニティに根付いている。