1.1 提案の経緯
U-Netは、2015年にフライブルク大学のOlaf Ronneberger、Philipp Fischer、Thomas Broxによって提案された。当時、生物医学画像解析、特に電子顕微鏡画像における細胞や核のセグメンテーションは、手動によるアノテーションに大きく依存しており、自動化への需要が高まっていた。既存の畳み込みニューラルネットワーク（CNN）は、画像分類や物体検出では成功を収めていたが、ピクセル単位のセグメンテーションタスクでは、ダウンサンプリングによる空間情報の喪失が課題であった。Ronnebergerらは、この問題を解決するために、エンコーダーとデコーダーを対称に配置し、スキップ接続で高解像度の特徴を保持する新しいアーキテクチャを設計した。論文はISBI（IEEE International Symposium on Biomedical Imaging）で発表され、限られた訓練データでも高い性能を示すことから、瞬く間に医療画像処理コミュニティに広まった。
1.2 従来手法との比較
U-Net以前のセマンティックセグメンテーション手法は、パッチベースの分類（各ピクセル周辺の画像パッチを独立に分類する）が主流であった。例えば、Ciresanら（2012）のCNNは、パッチ単位でニューロン膜のセグメンテーションを行ったが、計算コストが高く、コンテキスト情報が限られていた。また、全体的な構造を捉えるために、条件付きランダム場（CRF）などの後処理が併用されることが多かった。U-Netは、エンコーダーで空間情報を圧縮しながら文脈を抽出し、デコーダーでスキップ接続を通じて詳細な位置情報を復元する点で、これらの問題を解決した。さらに、データ拡張（特に弾性変形）を積極的に活用することで、数百枚の訓練画像でも過学習を抑え、当時最先端であったISBI細胞追跡チャレンジで優勝した。
2.1 エンコーダー（収縮経路）
エンコーダーは、入力画像から階層的な特徴マップを抽出する役割を担う。U-Netでは、この経路を「収縮経路」とも呼び、畳み込み層とプーリング層の繰り返しによって空間解像度を段階的に低下させる。各段階では、特徴マップのチャネル数を増加させ、より抽象的な特徴を学習する。典型的なU-Netでは、入力画像（例：572×572ピクセル）に対して、4回のダウンサンプリングが行われる。
2.1.1 畳み込みとプーリング
各ダウンサンプリング段階は、2回の3×3畳み込み（各畳み込み後にReLU活性化関数）と、その後の2×2マックスプーリング（ストライド2）で構成される。畳み込み層では、パディングを行わない（valid convolution）ため、出力サイズが（入力サイズ - 2）となり、プーリングでさらに半分になる。これにより、エンコーダー全体で空間サイズが16分の1（元の1/16）まで縮小される。
2.1.2 特徴マップのチャネル数増加
最初の段階では64チャネルから始まり、ダウンサンプリングのたびにチャネル数が2倍になる（64→128→256→512→1024）。このチャネル数の増加は、低解像度になるほどより多くの抽象的な特徴を表現するために設計されている。最終段階（最深部）では512チャネル（入力が572×572の場合、出力特徴マップは28×28）となり、最大限の意味情報を保持する。
2.2 デコーダー（拡張経路）
デコーダーは、エンコーダーで圧縮された特徴マップを元の入力サイズに復元する。各段階では、アップサンプリングと畳み込みによって解像度を回復し、同時にチャネル数を減少させる。デコーダーはエンコーダーと対称な構造を持ち、最終的に入力と同サイズの出力マップを生成する。
2.2.1 アップサンプリングと転置畳み込み
各アップサンプリング段階では、まず2×2の転置畳み込み（アップコンボリューション）で空間サイズを2倍にする。転置畳み込みの出力は、対応するエンコーダー段階の特徴マップと同サイズになるよう調整されており、その後、エンコーダーからのスキップ接続とチャネル方向に結合（concatenate）される。結合後、2回の3×3畳み込み（ReLU付き）で特徴を統合する。
2.2.2 特徴マップの復元
デコーダーでは、各段階でチャネル数が半減する（1024→512→256→128→64）。最深部からは、4回のアップサンプリングを経て、元の入力解像度（例：388×388ピクセル）に戻る。この過程で、スキップ接続によりエンコーダーの高解像度特徴が補完されるため、細かい構造（細胞膜や核境界など）を正確に復元できる。
2.3 スキップ接続
スキップ接続は、U-Netの最も重要な革新の一つである。エンコーダーの各段階（ダウンサンプリング前の高解像度特徴マップ）を、対応するデコーダー段階へ直接伝送する。これにより、ダウンサンプリングで失われた空間的詳細情報をデコーダーが利用できる。
2.3.1 融合の方式
スキップ接続は、エンコーダーの特徴マップとデコーダーのアップサンプリング結果を、チャネル方向に結合（concatenate）する方式を取る。例えば、エンコーダーの256チャネルの特徴マップと、デコーダーの256チャネルのアップサンプリング結果を結合すると512チャネルになる。その後、畳み込みでチャネル数を半減させ、再び256チャネルとして次の段階へ渡す。これは、単純な加算（ResNetのような）ではなく、結合によってエンコーダーとデコーダーの特徴を独立に保持できる利点がある。
2.3.2 情報損失の軽減効果
ダウンサンプリングを行うCNNでは、空間解像度の低下に伴い、ピクセル位置の細かな情報（境界やテクスチャ）が失われる。スキップ接続は、この情報をエンコーダーから直接デコーダーに供給することで、勾配消失問題を緩和し、浅い層の特徴を学習しやすくする。特にセグメンテーションタスクでは、物体の境界を正確に予測するために不可欠であり、U-Netが高解像度出力を達成する基盤となっている。
2.4 出力層と損失関数
2.4.1 ピクセル単位のソフトマックス
最終層では、1×1畳み込みで各ピクセルをクラス数（例：背景と前景の2クラス）に変換し、ソフトマックス関数を適用する。ソフトマックスは、各ピクセルのクラス確率を正規化し、合計1.0になるようにする。これにより、出力は入力画像と同じ空間解像度の確率マップとなり、各ピクセルの予測クラスが確定できる。
2.4.2 ピクセル単位のクロスエントロピー損失
訓練時には、ピクセル単位のクロスエントロピー損失が使用される。これは、各ピクセルにおける真のラベルと予測確率の間の交差エントロピーを計算し、全ピクセルで平均する。この損失関数は、ピクセルごとの分類問題としてセグメンテーションを定式化し、確率的勾配降下法によって最適化される。U-Netの元論文では、重み付き損失関数（後述の3.2節）を用いて、境界領域の学習を強化している。
3.1 データ拡張手法
データ拡張は、U-Netの成功に不可欠な要素である。訓練データが少ない（通常数十～数百枚）生物医学画像において、過学習を防ぎ、不変性を学習させるために、さまざまな変形が適用される。
3.1.1 弾性変形
弾性変形は、元論文で導入された重要な拡張手法である。ランダムな変位ベクトル場を生成し、画像を滑らかに歪ませることで、生物組織の自然な変形（細胞の形状変化など）をシミュレートする。この手法により、ネットワークは変形に対してロバストな特徴を学習し、少量のアノテーションから高い汎化性能を得る。変位の強度はガウシアンスムージングで調整され、通常シグマ=4程度のパラメータが使用される。
3.1.2 回転・スケーリング・反転
回転（0°～360°）、スケーリング（0.7～1.3倍）、水平・垂直反転などの幾何学的変換がランダムに適用される。また、グレースケール画像では輝度コントラストの調整も行われる。これらの拡張は、回転不変性やスケール不変性を学習させることに寄与し、特に臓器や細胞の向きが不確定な医療画像で効果を発揮する。
3.2 重み付き損失関数
3.2.1 不均衡クラスへの対応
セグメンテーションでは、前景（対象物）が背景よりも極めて小さい場合、クラス不均衡が問題となる。例えば、細胞核のセグメンテーションでは、核領域が画像全体のごく一部を占める。重み付きクロスエントロピー損失では、各ピクセルに重みを割り当て、背景ピクセルよりも前景ピクセルの損失を大きくすることで、クラス不均衡を補正する。
3.2.2 境界強調のための重みマップ
U-Netでは、特に細胞や臓器の境界領域を学習しやすくするために、重みマップが設計されている。境界に近いピクセルには高い重みが、内部のピクセルには低い重みが設定される。重みマップは、距離変換（distance transform）を用いて計算され、例えば、異なる細胞間の境界（接触領域）に大きな重みを割り当てることで、ネットワークが境界の微細な違いに注意を向けるようになる。これは、元論文で顕微鏡画像の細胞膜セグメンテーションにおいて特に効果的であった。
3.3 学習率スケジューリングと正則化
U-Netの訓練では、Adamオプティマイザーや確率的勾配降下法（SGD）が使用される。学習率は、通常初期値0.001から始め、エポック数に応じて指数的に減衰させる。バッチ正規化（Batch Normalization）は、元のU-Netでは使用されていなかったが、後の変種では一般的に導入されている。ドロップアウト（Dropout）は、最深部のチャネル（1024チャネル）に対して0.5の割合で適用されることがあり、過学習を抑制する。また、重み減衰（Weight Decay）によるL2正則化も併用されることが多い。
4.1 3D U-Net
3D U-Netは、2016年にÇiçekらによって提案され、元の2D U-Netを3次元ボリュームデータ（CT、MRIなど）に拡張したものである。すべての畳み込み、プーリング、アップサンプリング操作が3次元カーネル（例：3×3×3）に置き換えられる。
4.1.1 ボリュームデータへの適用
3D U-Netは、スキャン全体を直接入力として扱うことで、スライス間のコンテキスト情報を学習できる。これにより、臓器や腫瘍の3次元形状を正確にセグメンテーションできる。元のU-Netと同様のスキップ接続構造を持ち、医療ボリュームデータ（例：脳腫瘍セグメンテーションのBraTSデータセット）で高い性能を示した。
4.1.2 メモリ制約への対処
3D U-Netは、3次元畳み込みによりメモリ消費が極めて大きくなる。これを緩和するため、パッチベースのトレーニング（例：128×128×128のサブボリューム）が一般的である。また、バッチサイズを小さく（バッチサイズ1）設定し、勾配蓄積（gradient accumulation）や混合精度訓練（mixed precision training）を用いてメモリ使用量を削減する。より効率的な実装としては、V-Net（2016）やnnU-Net（2018）などの派生モデルがある。
4.2 Attention U-Net
Attention U-Netは、2018年にOktayらによって提案され、アテンションゲート（Attention Gate, AG）をスキップ接続に導入したモデルである。
4.2.1 アテンションゲートの導入
アテンションゲートは、エンコーダーの特徴マップとデコーダーの特徴マップの間で、空間的なアテンション重みを計算する。具体的には、ゲーティング信号（デコーダー側の高次特徴）を用いて、エンコーダーの特徴の各位置の重要度を学習し、不要な背景領域を抑制する。これにより、ネットワークは対象領域（例：腫瘍）に重点的に注意を向ける。
4.2.2 対象領域への集中
Attention U-Netは、特に複数の臓器や病変が混在する医療画像で効果を発揮する。従来のU-Netではスキップ接続で全ての情報を伝達するため、ノイズや不要な背景特徴も伝わるが、アテンションゲートにより、関連性の高い領域のみが強化される。結果として、セグメンテーション精度が向上し、特に小さな対象物の検出性能が改善される。
4.3 U-Net++（Nested U-Net）
U-Net++は、2018年にZhouらによって提案され、スキップ接続を高密度化した階層型アーキテクチャである。
4.3.1 高密度スキップ接続
U-Net++では、エンコーダーとデコーダーの間に複数の中間層（畳み込みブロック）を挿入し、異なる解像度の特徴マップを密に結合する。これにより、各デコーダー層は、複数の異なるスケールからの特徴を受け取ることができる。この設計により、セマンティックギャップ（エンコーダーとデコーダーの特徴の違い）が減少し、より滑らかな勾配伝播が可能になる。
4.3.2 深層監督
U-Net++では、深層監督（Deep Supervision）が導入されている。各デコーダー層に出力層を接続し、複数のスケールで損失を計算する。これにより、中間層の学習が促進され、勾配消失が緩和される。推論時には、最も深い出力のみを使用する（アンサンブル効果により性能が向上する場合もある）。U-Net++は、医療画像セグメンテーションの複数のベンチマークで、元のU-Netを上回る結果を示した。
4.4 その他の派生モデル
4.4.1 Residual U-Net
Residual U-Netは、2017年にZhangらによって提案され、エンコーダーおよびデコーダーの各ブロックを残差ブロック（ResBlock）に置き換えたモデルである。残差接続により、勾配の流れが改善され、より深いネットワークの訓練が可能になる。また、バッチ正規化とReLUの順序を調整することで、収束速度が向上する。このモデルは、医療画像（胸部X線や網膜画像）のセグメンテーションで有効性が確認されている。
4.4.2 Inception U-Net
Inception U-Netは、GoogleのInceptionモジュール（Szegedyら、2014）をU-Netの畳み込みブロックに組み込んだモデルである。異なるカーネルサイズ（1×1、3×3、5×5）の畳み込みを並列に実行し、出力を結合することで、マルチスケールの特徴を捉える。これにより、異なるサイズの物体（例：小さな細胞と大きな臓器）を同時にセグメンテーションするタスクで性能が向上する。ただし、計算コストが増加するため、軽量な並列実装が求められる。
5.1 医療画像解析
5.1.1 細胞・核セグメンテーション
U-Netは、当初の目的通り、電子顕微鏡画像や組織病理画像における細胞と核のセグメンテーションで広く使用されている。ISBI細胞追跡チャレンジ（2015）のデータセットで高い性能を示し、その後もNucleSeg（核セグメンテーション）やMoNuSeg（多臓器核セグメンテーション）などのベンチマークで標準手法として採用されている。データ拡張と重み付き損失関数により、密に接触した細胞の境界も高い精度で分離できる。
5.1.2 臓器・腫瘍セグメンテーション
医療画像（CT、MRI、超音波）における臓器（肝臓、腎臓、肺など）や腫瘍（脳腫瘍、肺結節など）のセグメンテーションにも広く応用されている。例えば、BraTS（脳腫瘍セグメンテーションチャレンジ）では、3D U-Netやその派生モデルが主要な手法として定着している。また、Kits Challenge（腎臓腫瘍セグメンテーション）やLiTS（肝臓腫瘍セグメンテーション）でもトップレベルの性能を達成している。
5.2 リモートセンシング画像解析
5.2.1 道路・建物抽出
衛星画像や航空写真からの道路ネットワークや建物フットプリントの抽出に、U-Netが採用されている。これらのタスクでは、高解像度の空間情報が重要であり、スキップ接続によって細かい形状を保持できることが利点となる。例えば、Massachusetts RoadsデータセットやInria Aerial Image Labelingデータセットでベースラインとして使用されている。
5.2.2 土地利用分類
土地利用・土地被覆（Land Use / Land Cover, LULC）分類では、U-Netはピクセル単位で異なるカテゴリ（森林、水域、農地、都市域など）を分類する。リモートセンシング画像のマルチスペクトルチャネル（RGB+近赤外）を入力として扱い、高精度なセマンティックセグメンテーションを実現する。ISPRS VaihingenデータセットやDeepGlobeチャレンジなどで活用されている。
5.3 産業検査と自動運転
5.3.1 欠陥検出
製造業において、製品表面の欠陥（傷、クラック、異物）を画像から検出するタスクにU-Netが応用されている。半導体ウェハの欠陥検査、金属表面のクラック検出、織物の欠陥検出などで、U-Netの高解像度出力が欠陥の形状を正確に捉える。データ拡張により、限られた故障データでもロバストなモデルが構築できる。
5.3.2 道路シーン解析
自動運転向けの道路シーンセグメンテーションでは、U-NetはCityscapesやKITTIなどのデータセットで使用されている。歩行者、車両、信号機、道路標示などの複数クラスをピクセル単位で識別する。リアルタイム性が求められるため、軽量なバリエーション（例：Efficient U-Net）への拡張が進められている。
6.1 評価指標
6.1.1 Dice係数
Dice係数（Dice Similarity Coefficient, DSC）は、セグメンテーションタスクで最も一般的な指標の一つである。予測領域と真の領域の重なりを測り、2×（真陽性）/（予測領域＋真の領域）で計算される。値は0から1の範囲で、1が完全一致を示す。U-Netの原論文では、Dice係数が主要な評価指標として使用され、細胞膜セグメンテーションで0.92以上の高い値を記録している。
6.1.2 IoU（Intersection over Union）
IoU（Jaccard指数とも呼ばれる）は、予測領域と真の領域の積集合を和集合で割った値である。Dice係数と類似しているが、Diceの方が若干高い値を示す傾向がある（数学的にDice = 2×IoU/(1+IoU)の関係にある）。都市景観セグメンテーション（Cityscapes）などの自動運転データセットでは、IoUが標準的な評価指標として採用されている。
6.1.3 精度・再現率
セグメンテーションでは、ピクセル単位の精度（Precision = 真陽性/(真陽性+偽陽性)）と再現率（Recall = 真陽性/(真陽性+偽陰性)）も使用される。これらは、過分割（偽陽性）と過小分割（偽陰性）のトレードオフを評価する。特に医療画像では、再現率（病変を見逃さないこと）が重視される場合がある。
6.2 主要データセット
6.2.1 ISBI細胞追跡チャレンジ
ISBI（IEEE International Symposium on Biomedical Imaging）が主催する細胞追跡チャレンジ（Cell Tracking Challenge）は、U-Netの原論文で使用されたデータセットである。電子顕微鏡画像や蛍光顕微鏡画像から、細胞膜や核をセグメンテーションする。DIC（Differential Interference Contrast）顕微鏡画像など、複数のサブデータセットが含まれ、U-Netはこのコンペティションで優勝を果たした。
6.2.2 ISIC皮膚病変セグメンテーション
ISIC（International Skin Imaging Collaboration）データセットは、皮膚鏡画像から悪性黒色腫などの病変をセグメンテーションするタスクである。U-Netやその派生モデルは、このデータセットでDice係数0.85～0.90を達成しており、皮膚がんの自動診断支援に貢献している。2018年のISICチャレンジでは、U-Netベースの手法が上位にランクインした。
6.2.3 Cityscapes
Cityscapesは、ドイツの50都市の街並みを撮影した運転シーンデータセットで、30クラスのセマンティックセグメンテーションラベルが含まれる。U-Netは、このデータセットでは多くの大規模モデル（DeepLab、PSPNetなど）に性能で劣るが、軽量な変種がエッジデバイスでのリアルタイム推論に適している。評価指標としては、平均IoU（mIoU）が使用され、U-Netベースモデルで約65～70%のmIoUが報告されている。
7.1 大規模データへのスケーラビリティ
U-Netは、元来数百枚規模のデータセット向けに設計されているが、大規模データ（数万～数百万枚）への適用では、メモリ消費と計算時間が課題となる。特に、高解像度画像（例：4K以上）では、入力全体を一度に処理できず、パッチベースの処理が必要となる。この問題に対して、階層的な推論（multi-scale inference）や、画像全体を一度に処理できる大容量GPUメモリへの最適化が進められている。また、U-Netの構造をスケーラブルにするための研究（例：Efficient U-Net、Attention U-Netの軽量化）が行われている。
7.2 半教師あり学習と自己教師あり学習の活用
医療画像では、アノテーションコストが高いため、ラベル付きデータが限られている。半教師あり学習（例：擬似ラベリング、コントラスト学習）や自己教師あり学習（例：マスク画像モデリング）をU-Netに組み込むことで、ラベルなしデータを活用する手法が注目されている。例えば、事前学習にImageNetではなく、医療画像ドメインで自己教師あり学習（SimCLR、MoCoなど）を行ったU-Netは、ファインチューニング性能が向上することが示されている。また、弱教師あり学習（画像レベルのラベルのみ）でセグメンテーションを学習する研究も進行中である。
7.3 Transformerとの融合
近年、Vision Transformer（ViT）の成功を受け、CNNの利点（局所的なパターン抽出）とTransformerの利点（大域的なコンテキスト捕捉）を組み合わせたU-Netの変種が提案されている。
7.3.1 Swin-UNet
Swin-UNetは、2021年にCaoらによって提案され、Swin TransformerブロックをU-Netのエンコーダーとデコーダーに組み込んだモデルである。Swin Transformerは、シフトしたウィンドウ自己注意（Shifted Window Self-Attention）を用いて、計算効率を保ちながら大域的な相互作用を実現する。Swin-UNetは、医療画像セグメンテーションにおいて、従来のCNNベースのU-Netを上回る性能を示し、特に臓器の境界や形状の再現性で優れている。
7.3.2 TransUNet
TransUNetは、2021年にChenらによって提案され、CNNエンコーダー（ResNetなど）で抽出した特徴マップを、Transformerブロックでさらに処理し、その後デコーダーで復元するハイブリッドモデルである。CNNで局所特徴を抽出した後、Transformerで大域的なコンテキスト情報を獲得することで、低コントラストの臓器境界や複雑な形状を精度よくセグメンテーションできる。特に、Synapse多臓器セグメンテーションデータセットでDice係数0.77を達成している。
7.4 リアルタイム推論への最適化
U-Netは高精度であるが、計算コストが高く、特にエッジデバイス（スマートフォン、ドローン、医用内視鏡など）でのリアルタイム推論が難しい。軽量化手法として、モバイルネット（MobileNet）やShuffleNetベースのU-Net（Mobile U-Net）、深さ方向分離可能畳み込み（depthwise separable convolution）を用いたモデルが提案されている。また、知識蒸留（Knowledge Distillation）により、大規模なU-Netから小型ネットワークに知識を転移する手法も有効である。さらに、ハードウェア最適化（TensorRT、ONNX Runtime、量子化推論）により、推論速度を10倍以上向上させた事例が報告されている。