SENet（Squeeze-and-Excitation Networks）は、2017年にHuらの研究チームによって提案された、深層学習における画像認識向けの革新的なネットワークアーキテクチャである。その核心は、各チャンネルの重要度を学習する「Squeeze-and-Excitation（SE）ブロック」を導入し、チャンネル間の依存関係を明示的にモデル化することにより、表現能力を向上させる点にある。SEブロックは既存の任意のCNNアーキテクチャに容易に組み込むことができ、軽量でありながらも顕著な性能向上をもたらす。本アーキテクチャは、ImageNet Large Scale Visual Recognition Challenge（ILSVRC）2017で優勝し、現在の画像認識分野における基本的なモジュールとして広く採用されている。
1.1 チャンネル間の依存関係の問題
従来の畳み込みニューラルネットワーク（CNN）では、各畳み込み層が出力特徴マップの全チャンネルを均等に扱う。しかし、現実の画像ではチャンネルごとに重要度が異なり、特定のチャンネルは物体の形状、別のチャンネルは色彩やテクスチャなど、異なる意味情報を担う。チャンネル間のこのような依存関係を明示的にモデル化しないと、ネットワークは重要な情報を過小評価し、不要な情報に過度に注目する可能性がある。SEブロックはこの問題を解決するために設計された。
1.2 Squeeze操作（グローバル平均プーリング）
Squeeze操作は、入力特徴マップ（サイズH×W×C）をチャンネルごとにグローバル平均プーリングし、各チャンネルの統計量を表す1×1×Cのベクトルを生成する。この操作により、空間次元が圧縮され、チャンネル全体のグローバルな情報が集約される。プーリング後のベクトルはチャンネル記述子と呼ばれ、後続のExcitation操作の入力となる。
1.3 Excitation操作（全結合層と活性化関数）
Excitation操作は、Squeezeで得られたチャンネル記述子を2つの全結合層に通し、チャンネルごとの重み（スカラー値）を学習する。最初の全結合層はチャンネル数を削減（リダクション比rで縮小）し、ReLU活性化を適用、二つ目の全結合層で元のチャンネル数に戻し、シグモイド関数で0～1の範囲に正規化する。これにより各チャンネルの重要度を示す重みベクトルが出力される。リダクション比rは計算量と表現力のトレードオフを制御するハイパーパラメータである。
1.4 Scale操作（チャンネルごとの重み付け）
Scale操作は、Excitationで得られた重みベクトルを入力特徴マップの各チャンネルに要素ごとに乗算する。つまり、元の特徴マップに対し、重要なチャンネルは強調され、重要でないチャンネルは抑制される。この単純な演算により、ネットワークは入力に応じて適応的にチャンネルを再調整し、表現力を向上させる。
2.1 SEブロックのモジュール設計
SEブロックは、入力 → Squeeze（Global Avg Pooling） → Excitation（FC→ReLU→FC→Sigmoid） → Scale（チャンネルごとの乗算） → 出力という構造を持つ。入力と出力の空間サイズは同一であり、任意の畳み込み層の直後に挿入可能なプラグイン型モジュールである。計算量は非常に小さく、元のネットワークのパラメータ数に対する増加は数%以下に抑えられる。
2.2 既存CNNへの組み込み方法
2.2.1 ResNetとの統合（SE-ResNet）
ResNetでは、各残差ブロックの内部、あるいはブロック出力後にSEブロックを挿入する。具体的には、残差ブロック内の最後の畳み込み層の出力に対してSEブロックを適用し、その後にショートカット接続と加算を行う。SE-ResNet-50は、標準ResNet-50と比較してImageNetトップ1エラー率を1%以上改善した。
2.2.2 Inceptionとの統合（SE-Inception）
Inceptionネットワークでは、モジュール内の複数の並列畳み込みパスを結合した後の特徴マップに対してSEブロックを配置する。例えば、Inception-v3の各インセプションブロックの最後にSEブロックを追加する。これにより、異なるスケールの特徴チャンネル間の重要度を動的に適応させることができる。
2.2.3 MobileNetとの統合（SE-MobileNet）
MobileNetなどの軽量CNNでは、SEブロックの追加によるパラメータ増加が比較的大きくなるため、リダクション比rを大きめに設定するなどの調整が行われる。SE-MobileNetは、わずかな計算コスト増加で分類精度を向上させ、モバイル端末などのリソース制約環境でも効果を発揮する。
2.3 パラメータと計算コスト
SEブロックの追加パラメータは、主に2つの全結合層によるもので、リダクション比rに依存する。r=16の場合、元のネットワークのパラメータ数増加は約10%未満、計算量は数%の増加にとどまる（例：SE-ResNet-50はResNet-50に対しGFLOPsが約0.4%増加）。この軽量性がSEブロックの大きな利点である。
3.1 画像分類
SEブロックは画像分類において最も顕著な効果を示し、ImageNet、CIFAR、Places365などのベンチマークで常に精度向上が確認されている。ILSVRC 2017では、SENetベースのアンサンブルモデルが優勝し、トップ5エラー率2.25%を達成した。
3.2 物体検出とセマンティックセグメンテーション
物体検出（Faster R-CNN、YOLOなど）やセマンティックセグメンテーション（DeepLab、PSPNetなど）のバックボーンにSEブロックを組み込むと、mAPやmIoUが改善される。特に特徴ピラミッドネットワークにおいて、各スケールのチャンネル重要度を動的に調整できる点が有効である。
3.3 ビデオ解析（時系列チャンネル拡張）
SEブロックの考え方は時系列データにも拡張可能で、ビデオ解析では時間軸をチャンネル次元として扱う3D CNNのチャンネル間依存関係をモデル化するために適用される。例えば、I3DやslowfastネットワークにSEモジュールを挿入し、行動認識精度の向上が報告されている。
3.4 軽量モデルでの有用性
SEブロックは計算コストが低いため、モバイル向け軽量モデル（MobileNetV3やShuffleNetV2など）でも採用されている。これらのモデルでは、SEブロックが性能対計算量のトレードオフに優れており、Few-shot学習やエッジコンピューティングのシナリオでも有効である。
4.1 派生モデル（ECA-Net、CBAM、GE-Netなど）
SEブロックの成功を受け、注意機構を洗練した多くの派生手法が提案された。
- ECA-Net：全結合層を1次元畳み込みに置き換え、パラメータ数を減らした。
- CBAM：チャンネル注意（SE類似）に加え、空間注意機構を導入した。
- GE-Net（Gather-Excite）：Squeeze操作に最大プーリングや複数スケール集約を追加した。
これらの手法はいずれもSEの基本フレームワークを継承しつつ、特定の課題に対する改良を目指している。
4.2 自然言語処理や音声認識への拡張
SEの概念は画像以外のドメインにも応用されている。自然言語処理では、Transformerのチャンネル（埋め込み次元）に対して類似のゲート機構を導入する試みがある。音声認識では、スペクトログラムの周波数チャンネル間依存性をモデル化するためにSEブロックが利用されている。ただし、系列データの特性に合わせた調整が必要である。
4.3 過学習リスクとデータセット依存性
SEブロックはパラメータ増加に伴い、小さなデータセットでは過学習を引き起こす可能性がある。特にリダクション比rを小さくしすぎると、全結合層の容量が大きくなり過ぎるため、適切な正則化（ドロップアウト、重み減衰）やデータ拡張が重要となる。また、効果はデータセットの特性に依存し、チャンネル間の意味的区別が重要なタスクでは有効だが、単純なテクスチャ分類などでは改善が小さい。
4.4 現在の位置づけと限界
現在、SEブロックは画像認識の基本モジュールとして広く普及しているが、近年のTransformerベースのアーキテクチャ（ViT、Swin Transformerなど）では、自己注意機構がチャンネル間および空間的依存関係を同時にモデル化するため、SEブロックの相対的な優位性は低下しつつある。ただし、軽量で既存CNNに容易に組み込める点から、エッジデバイスやハイブリッドモデル（CNN+Transformer）において依然として有用である。また、SEの基本的な「Squeeze-Excitation」という設計思想は、以降の注意機構研究に大きな影響を与えた。