1 定義と基本概念
セマンティックセグメンテーションは、コンピュータビジョンにおける画像解析タスクの一つであり、入力画像の各ピクセルに対してあらかじめ定義された意味カテゴリ（例：道路、歩行者、空、車両など）を割り当てる処理を指す。このタスクは画像全体をピクセル単位で分類することで、シーン内の物体の形状や境界を詳細に把握することを目的とする。
1.1 ピクセル単位のラベリング
ピクセル単位のラベリングは、セマンティックセグメンテーションの核心的な操作である。各ピクセルに一つのカテゴリラベルを対応させることで、画像内の全領域を意味的に分割する。これにより、画像分類（画像全体に一つのラベル）や物体検出（物体の矩形領域）とは異なる、高精細な領域情報が得られる。
1.2 セマンティックセグメンテーションと関連技術の違い
1.2.1 物体検出との違い
物体検出は画像内の個々の物体を矩形のバウンディングボックスで囲み、その物体のカテゴリと位置を予測する。一方、セマンティックセグメンテーションは物体の形状に沿ったピクセル単位の分割を行い、物体境界の正確な抽出を可能にする。物体検出が物体の有無と概略位置に焦点を当てるのに対し、セマンティックセグメンテーションは物体の詳細な輪郭を提供する。
1.2.2 インスタンスセグメンテーションとの違い
インスタンスセグメンテーションは、同一カテゴリに属する複数の物体（例：複数の人）を個別のインスタンスとして区別しながらピクセル単位で分割する。セマンティックセグメンテーションは同一カテゴリの全物体を一つの領域として扱い、インスタンス間の識別を行わない。そのためインスタンスセグメンテーションはより高度なタスクであり、物体の個体識別を必要とする応用で用いられる。
1.2.3 パノプティックセグメンテーションとの違い
パノプティックセグメンテーションは、セマンティックセグメンテーションとインスタンスセグメンテーションを統合した概念である。画像内の「もの」（例：道路、空）をセマンティックに分割し、「もの」（例：歩行者、車両）をインスタンスレベルで分割する。セマンティックセグメンテーションはパノプティックセグメンテーションにおける「もの」の部分に相当するが、後者はさらにインスタンス識別を含む点で異なる。
2 主要な手法とアーキテクチャ
2.1 従来の手法
2.1.1 グラフカットと条件付き確率場
深層学習以前は、グラフカットや条件付き確率場（CRF）がセマンティックセグメンテーションに広く利用された。画像をグラフとしてモデル化し、ピクセル間の類似度やエッジ情報に基づいてエネルギー関数を最適化することで、領域分割を行う。CRFは特に文脈情報を活用し、ノイズの多い初期予測を平滑化する後処理として有効であった。
2.1.2 テクスチャ特徴と手動設計特徴
従来手法では、SIFT、HOG、局所二値パターン（LBP）などの手動設計特徴量を抽出し、ランダムフォレストやサポートベクターマシン（SVM）などの分類器でピクセルごとに分類を行った。これらの手法は計算コストが低いが、複雑なシーンや形状の変化に対して頑健性に欠けるという限界があった。
2.2 深層学習手法
2.2.1 エンコーダ・デコーダ構造
2.2.1.1 FCN（Fully Convolutional Network）
FCNは、全結合層を畳み込み層に置き換えた最初の深層学習セマンティックセグメンテーションモデルである。これにより任意サイズの入力画像を受け入れ、ピクセル単位の予測マップを出力できる。FCNはエンコーダ（ダウンサンプリング）とデコーダ（アップサンプリング）の構造を持ち、スキップ接続により細かい空間情報を保持する工夫がなされた。
2.2.1.2 U-Netとその派生
U-Netは、エンコーダとデコーダが対称的なU字構造を持つネットワークで、医療画像セグメンテーションのために提案された。デコーダの各段階でエンコーダの対応する特徴マップと結合することで、高解像度の空間情報を復元する。これを基にした派生モデル（U-Net++、U-Net3+など）が様々な応用で改良されている。
2.2.2 Attention機構とTransformer
2.2.2.1 Vision Transformerを用いた手法
Vision Transformer（ViT）をセマンティックセグメンテーションに適用する手法が登場している。画像をパッチに分割し、自己注意機構（self-attention）を用いてグローバルな文脈を捉える。SETR（Segmentation Transformer）などは、ViTをエンコーダとして使用し、デコーダでピクセルレベルの予測を生成する。
2.2.2.2 自己教師あり学習との統合
自己教師あり学習（例：MAE、MoCo）を事前学習として利用し、ラベルなしデータから汎用的な特徴を獲得することで、セマンティックセグメンテーションの性能を向上させる手法がある。これによりラベル付きデータが少ない状況でも高精度な学習が可能となる。
2.3 軽量化とリアルタイム処理
モバイルや組み込み向けに、軽量なネットワーク（例：ENet、SegNet、ERFNet）が開発されている。これらのモデルは計算量を削減しつつ、リアルタイム推論を実現する。深さ方向分離畳み込みや特徴量圧縮技術を活用し、自動運転など低遅延が要求される分野で重要な役割を果たす。
3 代表的なデータセット
3.1 PASCAL VOC
PASCAL VOC（Visual Object Classes）は、物体認識のベンチマークデータセットであり、セマンティックセグメンテーションのタスクとして20クラス（背景を含む）のピクセル単位ラベルを提供する。画像数は約1,000枚と比較的小規模だが、モデル評価の標準的な指標として長く用いられている。
3.2 Cityscapes
Cityscapesは、都市景観の道路シーンを対象とした大規模データセットで、30クラスの詳細なセマンティックラベルを持つ。高解像度（1024×2048）の画像約5,000枚（ファインアノテーション）と、さらに大量の粗アノテーションデータを含む。自動運転分野の研究で頻繁に使用される。
3.3 ADE20K
ADE20Kは、室内外の多様なシーンを含むデータセットで、150クラス以上のカテゴリをカバーする。画像数は約20,000枚であり、物体の細かいパーツ（例：窓、ドア）までラベル付けされている。シーン理解の研究に広く利用される。
3.4 MS COCO Stuff
MS COCO Stuffは、COCOデータセットの拡張版で、スッファ（stuff）クラス（例：空、草、壁）に焦点を当てたセマンティックセグメンテーションラベルを提供する。91クラスのスッファと物体カテゴリを組み合わせたパノプティックセグメンテーションの評価にも使われる。
4 応用分野
4.1 自動運転とロボティクス
4.1.1 道路シーン理解
セマンティックセグメンテーションは、自動運転車の周辺環境認識に不可欠である。道路、歩行者、車両、標識などをピクセル単位で識別し、車両の行動計画の基礎情報を提供する。リアルタイム性が要求されるため、軽量モデルが好まれる。
4.1.2 障害物回避と経路計画
ロボットのナビゲーションにおいて、セマンティックセグメンテーションは障害物の形状と位置を正確に把握する手段となる。地図生成や経路計画アルゴリズムと組み合わせることで、安全な移動を実現する。
4.2 医療画像診断
4.2.1 細胞核と腫瘍領域の抽出
病理画像やMRI画像において、セマンティックセグメンテーションはがん細胞の領域や腫瘍の輪郭を自動抽出する。これにより医師の診断の補助や病変の定量評価が可能になる。
4.2.2 臓器セグメンテーション
CTやMRIスキャンから肝臓、肺、脳などの臓器をピクセル単位で分割する。これらは手術計画や放射線治療の線量計算に利用され、高い精度が求められる。
4.3 地理情報システムとリモートセンシング
衛星画像や航空写真に対してセマンティックセグメンテーションを適用し、土地利用分類（森林、水域、農地、市街地など）や建築物の抽出を行う。都市計画や環境モニタリングに貢献する。
4.4 拡張現実と画像編集
拡張現実（AR）では、実世界のシーンをセマンティックに分割することで、仮想オブジェクトの適切な配置や遮蔽処理が可能になる。画像編集ソフトウェアでも、背景の切り抜きや被写体の選択に活用される。
5 評価指標
5.1 ピクセル精度（Pixel Accuracy）
ピクセル精度は、全ピクセル数に対する正しく分類されたピクセル数の割合である。計算が容易だが、クラス不均衡の影響を受けやすく、多数派クラスが支配的になりやすいという欠点がある。
5.2 平均交差部分和（mIoU）
平均交差部分和（Mean Intersection over Union）は、各クラスにおける予測領域と正解領域の重なり（IoU）を計算し、全クラスで平均した指標である。クラス不均衡に比較的頑健で、セマンティックセグメンテーションの標準的な評価指標として広く用いられる。
5.3 平均精度（mAP）
平均精度（Mean Average Precision）は、物体検出の指標として主に使用されるが、セグメンテーションでもIoU閾値を変えて適合率・再現率を計算し、平均を取ることで用いられる。セマンティックセグメンテーションではmIoUの方が一般的である。
5.4 Dice係数とJaccard指数
Dice係数は、予測領域と正解領域の重なりを2倍した値を両領域の面積和で割る指標であり、特に医療画像で頻繁に使用される。Jaccard指数（IoUと同じ）との関係はDice = 2 Jaccard / (1 + Jaccard) である。
6 課題と限界
6.1 境界の曖昧さと細かい構造の喪失
深層学習モデルはダウンサンプリングにより空間解像度が低下し、物体境界の細かい構造を失いやすい。特に細長い物体や薄い構造（例：電線、血管）のセグメンテーションが困難である。
6.2 クラス不均衡問題
データセットにおいて出現頻度の低いクラス（例：自転車、標識）は学習が不足し、精度が低下する。損失関数の重み付けやサンプリング戦略で対処されるが、完全には解決されていない。
6.3 ドメインシフトと汎化能力
訓練データとテストデータの分布が異なる場合（例：異なる都市、異なるカメラ）、性能が大幅に低下する。ドメイン適応やデータ拡張の手法が研究されているが、汎化は依然として課題である。
6.4 データアノテーションのコスト
ピクセル単位のアノテーションは作業コストが非常に高い。専門知識を要する医療画像や大規模データセットでは、ラベル付けに膨大な労力がかかる。これが弱教師あり学習やセミ教師あり学習の動機となっている。
7 将来の方向性
7.1 弱教師あり学習と少数ショット学習
ラベルコストを削減するため、画像レベルのラベル（分類タグ）や物体検出のバウンディングボックスのみを用いる弱教師あり手法が研究されている。また、少数ショット学習により、新しいクラスを少数サンプルから学習可能にする方向性も進んでいる。
7.2 3Dセマンティックセグメンテーション
点群やボクセルデータに対する3Dセマンティックセグメンテーションが注目されている。自動運転のLiDARデータ、医療の3Dスキャンなど、立体的な空間理解を必要とする応用で発展が期待される。
7.3 動的・ビデオセグメンテーション
ビデオシーケンスにおいて、時間的整合性を保ちながら高速にセマンティックセグメンテーションを行う技術が求められている。時空間畳み込みやリカレントネットワークを用いた手法が研究されている。
7.4 解釈可能性と信頼性の向上
モデルの予測根拠を可視化する手法や、不確実性を定量化する技術が重要視されている。特に医療や自動運転などの安全クリティカルな応用では、モデルの判断に対する信頼性の確保が不可欠である。