1 概要と歴史
DeepLabは、Google Brainチームによって開発された、画像のセマンティックセグメンテーション（画素単位の意味領域分割）のための一連の深層学習モデルアーキテクチャである。2016年に初版（DeepLabv1）が発表されて以来、空洞畳み込み（Dilated Convolution / Atrous Convolution）を用いて受容野を拡大しつつ、特徴マップの解像度を維持することに独自の改良を加えてきた。各バージョンは、Atrous Spatial Pyramid Pooling（ASPP）によるマルチスケール特徴抽出や、条件付き確率場（CRF）による後処理の導入、Encoder-Decoder構造との統合など、段階的な精度向上を実現している。DeepLabは、自動運転、医療画像解析、衛星画像解析など、実世界のピクセルレベル認識タスクにおいて広く応用されている。
1.1 セマンティックセグメンテーションの課題
セマンティックセグメンテーションは、画像内の各画素に意味ラベル（道路、歩行者、建物など）を割り当てるタスクである。主な課題として、(1) 物体のスケール変動への対応、(2) 物体境界の精細な分割、(3) 特徴マップの解像度と受容野のバランス、が挙げられる。従来の畳み込みニューラルネットワーク（CNN）では、プーリング層やストライド畳み込みによって解像度が低下し、細かい構造情報が失われやすい。DeepLabはこれらの課題に対して、空洞畳み込みとマルチスケール処理機構を導入することで解決を図った。
1.2 DeepLabシリーズの位置づけ
DeepLabシリーズは、セマンティックセグメンテーション分野においてベンチマーク手法の一つとして位置づけられる。登場当初はPASCAL VOCやCityscapesなどの主要データセットでトップクラスの精度を達成し、その後のバージョンアップごとに新たな技術要素を導入して精度を向上させた。特に、空洞畳み込みの体系的な応用とASPPの考案は、後続の多くの研究に影響を与えた。Transformerベースモデルが台頭する2020年代以降も、計算効率と精度のバランスに優れたアーキテクチャとして参照され続けている。
2 主要アーキテクチャ
2.1 空洞畳み込み（Atrous Convolution）
空洞畳み込み（Dilated Convolutionとも呼ばれる）は、畳み込みカーネルの各要素間に間隔（dilation rate）を挿入することで、カーネルサイズを拡大せずに受容野を広げる手法である。DeepLabでは、この操作を通常の畳み込み層やプーリング層の代わりに用いることで、ダウンサンプリングによる解像度低下を抑えつつ、広いコンテキスト情報を獲得する。例えば、dilation rate = 2の3×3カーネルは、実質的に5×5の受容野を持つが、パラメータ数は3×3のままである。
2.2 Atrous Spatial Pyramid Pooling（ASPP）
ASPPは、複数の異なるdilation rateを持つ空洞畳み込みを並列に適用し、得られた特徴マップを統合するモジュールである。DeepLabv2で初めて導入され、画像内の物体スケール変動に対処する。典型的なASPPは、1×1畳み込みと、dilation rateが6、12、18などの3×3空洞畳み込み、および画像レベル特徴（グローバル平均プーリング）を組み合わせる。各ブランチの出力は連結され、1×1畳み込みでチャネル数を調整する。
2.3 条件付き確率場（CRF）による後処理
条件付き確率場（CRF）は、画素間の依存関係をモデル化するグラフィカルモデルであり、セマンティックセグメンテーションの結果を滑らかにし、物体境界をシャープにする後処理手法として用いられた。DeepLabv1およびv2では、DenseCRF（全結合CRF）を採用し、各画素のクラス確率と画素間の色・位置の類似性に基づいてエネルギー関数を最小化することで、粗いセグメンテーションマップを精細化した。DeepLabv3以降では、CRFを用いなくても同等以上の精度が得られるようになり、省略された。
3 バージョンごとの進化
3.1 DeepLabv1
DeepLabv1は、2016年に発表された最初のバージョンである。特徴的な点は、空洞畳み込みをVGG-16の最終層に適用して特徴マップの解像度を維持したことと、後処理にDenseCRFを用いたことである。
3.1.1 基本構成とResNetの活用
DeepLabv1の基本構成は、画像分類用に事前学習されたVGG-16をバックボーンとし、最後のプーリング層と全結合層を取り除き、代わりに空洞畳み込みを導入する。これにより、入力画像の1/8解像度の特徴マップを出力する。PASCAL VOC 2012データセットで評価され、当時最先端の精度を達成した。
3.1.2 CRFを用いた境界精細化
DenseCRFは、各画素のクラス確率分布を初期値として、画素間の色差と空間距離に基づくエネルギー最小化を繰り返し計算する。これにより、物体のエッジに沿った不正確な予測を修正し、セグメンテーションの境界精度を大幅に向上させた。
3.2 DeepLabv2
DeepLabv2は2017年に発表され、ASPPを導入することでマルチスケール対応を強化した。VGG-16に代わり、ResNet-101をバックボーンとして採用し、より深いネットワークによる表現力を活用した。
3.2.1 ASPPの導入
ASPPは、異なるdilation rate（6、12、18、24）の空洞畳み込みを並列に用いることで、複数のスケールから特徴を抽出し、物体のスケール変動にロバストとなった。各ブランチの出力を連結し、1×1畳み込みで統合する。
3.2.2 マルチスケール対応の強化
ASPPに加えて、DeepLabv2では入力画像を複数スケールにリサイズした画像を個別に処理し、その結果を後で融合するマルチスケールテストも提案した。これにより、PASCAL VOC 2012でさらなる精度向上を達成した。
3.3 DeepLabv3
DeepLabv3は2017年後半に発表され、ASPPの改良とバッチ正規化、後処理CRFの省略を特徴とする。バックボーンにはResNetの改良版を用いた。
3.3.1 改良ASPPとバッチ正規化
ASPPにバッチ正規化（Batch Normalization）を適用し、学習を安定化させた。また、異なるdilation rateの3×3空洞畳み込みに加えて、画像レベル特徴（グローバル平均プーリング→1×1畳み込み→アップサンプリング）を追加した。これにより、極端に大きなdilation rateでも有効な特徴を抽出できるようになった。
3.3.2 後処理CRFの省略
実験により、改良ASPPと適切な学習のみで、DenseCRFを用いた場合と同等以上の精度が得られることが示された。そのため、DeepLabv3ではCRF後処理を省略し、エンドツーエンドの学習を実現した。
3.3.3 ResNetの改良と出力ストライドの調整
出力ストライド（output stride）とは、入力画像に対する特徴マップのダウンサンプリング倍率を指す。DeepLabv3では、ResNetの最終ブロックのストライドを調整し、出力ストライドを8または16に設定することで、解像度と受容野のバランスをとった。また、ResNetのボトルネック構造に空洞畳み込みを適用するためのMulti-Gridモジュールを導入した。
3.4 DeepLabv3+
DeepLabv3+は2018年に発表され、Encoder-Decoder構造を統合することで、物体境界の詳細な情報を復元した。また、Depthwise Separable Convolution（深さ方向分離畳み込み）を適用し、計算効率を向上させた。
3.4.1 Encoder-Decoder構造の統合
DeepLabv3ではASPPによりマルチスケール特徴を抽出するエンコーダ部分を持ち、v3+ではこれにデコーダを追加した。デコーダは、エンコーダの浅い層からの低レベル特徴（高解像度だがセマンティック情報が少ない）と、ASPPの出力をアップサンプリングしたものを結合し、細かい境界情報を復元する。
3.4.2 Depthwise Separable Convolutionの適用
深度方向分離畳み込みは、標準畳み込みを深さ方向畳み込みと点方向畳み込み（1×1畳み込み）に分解する手法で、パラメータ数と計算量を大幅に削減する。DeepLabv3+では、ASPP内の3×3空洞畳み込みとデコーダ内の畳み込みにこれを適用し、高速化と省メモリ化を実現した。
3.4.3 Xceptionベースのバックボーン
DeepLabv3+では、より強力なバックボーンとしてXceptionモデルを採用した。Xceptionは深度方向分離畳み込みを多用したネットワークであり、ResNetよりもパラメータ効率が良く、高い精度を達成する。また、アラインドXception（Aligned Xception）と呼ばれる改良版では、Xceptionの構造にDepthwise Separable Convolutionをさらに適用し、セマンティックセグメンテーションに最適化された。
4 応用分野
4.1 自動運転と道路シーン理解
自動運転では、道路、車両、歩行者、標識など、シーン内の多様な物体を画素単位で認識する必要がある。DeepLabはCityscapesやBDD100Kなどのデータセットで高い性能を示し、リアルタイム処理には向かないものの、高精度なオフライン解析やハイウェイシミュレーションに利用される。空洞畳み込みにより広い視野を捉え、ASPPで異なるスケールの物体を同時に認識できる点が強みである。
4.2 医療画像における臓器・病変領域分割
医療画像解析では、CT、MRI、病理画像から臓器や病変領域を正確に抽出することが治療計画に重要である。DeepLabは、特に境界が不明瞭な臓器（肝臓、腎臓など）や腫瘍のセグメンテーションにおいて、空洞畳み込みによる広いコンテキストとASPPによるマルチスケール情報が有効である。また、DeepLabv3+のEncoder-Decoder構造は、医療画像特有の細かい解剖学的構造の復元に貢献する。
4.3 衛星画像と地理空間解析
衛星画像や航空写真のセマンティックセグメンテーションでは、建物、道路、水域、植生などのカテゴリを画素単位で分類する。DeepLabは、大規模な画像をパッチに分割して処理する際に、空洞畳み込みの広い受容野が離れたコンテキストを捉えるのに役立つ。また、ASPPは異なる解像度の衛星データ（例：0.5mから10m）に対応するスケール不変性を提供する。都市計画、環境モニタリング、災害評価などに応用される。
5 限界と今後の展望
5.1 計算コストとリアルタイム処理への課題
DeepLabシリーズは、高精度を達成する一方で、計算量が大きいため、リソース制約のある組み込みシステムやリアルタイムアプリケーション（自動運転のオンライン推論など）への適用が難しい。特にDeepLabv3+は、Xceptionベースのバックボーンと深いデコーダにより、推論速度が遅い。軽量バックボーンへの置き換えや、蒸留・量子化などのモデル圧縮手法が検討されている。
5.2 小物体とエッジ領域の精度改善
DeepLabは物体境界の分割精度を向上させてきたが、極めて小さな物体（遠方の歩行者や細い構造物）や、物体のエッジに沿った細かい凹凸の再現には依然として課題がある。これは、空洞畳み込みの受容野が大きすぎると局所情報が失われる可能性があるためであり、デコーダの改良や注意機構の導入が研究されている。
5.3 Transformerベースモデルとの比較
2020年代に入り、Vision Transformer（ViT）をベースにしたセマンティックセグメンテーションモデル（SETR、SegFormer、Mask2Formerなど）が登場し、多くのベンチマークでDeepLabを上回る精度を達成している。Transformerは自己注意機構により長距離依存関係を効率的にモデル化できるが、計算コストはさらに大きい。今後の展望としては、CNNとTransformerのハイブリッドアーキテクチャや、効率的な注意機構の導入により、DeepLabの長所（空洞畳み込みの簡潔さとASPPのマルチスケール性）を活かしつつ、Transformerの強みを取り入れる方向性が考えられる。