1 基本概念
1.1 定義と数式
残差接続（Residual Connection）とは、深層ニューラルネットワークにおいて、ある層の入力をその層の出力に直接加算するショートカット経路を導入する設計技法である。数式的には、通常の層が学習する写像を \( F(x) \) とすると、残差接続を備えた層の出力は \( y = F(x) + x \) と表される。ここで \( x \) は入力、\( F(x) \) は重み付き線形変換や活性化関数などからなる残差写像である。この単純な加算により、ネットワークは恒等写像を容易に学習できるようになる。
1.2 標準的な接続との違い
標準的な接続では、各層が入力から出力への直接的な写像を学習する。例えば入力 \( x \) に対して \( y = F(x) \) となる。一方、残差接続では出力が \( y = F(x) + x \) となるため、層は入力からの差分（残差）のみを学習すればよい。この違いにより、勾配の流れが改善され、非常に深いネットワークでも安定した学習が可能となる。標準的な積み重ねでは層が深くなるにつれて勾配が消失または爆発しやすいが、残差接続はこの問題を緩和する。
1.3 残差ブロックの構造
典型的な残差ブロックは、2～3層の畳み込み層（または全結合層）とバッチ正規化、ReLU活性化関数から構成され、ブロックの入力から出力へのショートカット接続が並列に配置される。ショートカットは恒等写像（そのまま加算）である場合が多いが、入出力の次元が異なる場合には1×1畳み込みなどを用いて次元を合わせる。ブロックの最後で加算され、その後再び活性化関数が適用される。この基本構造はResNetで初めて体系的に導入された。
2 メカニズムと利点
2.1 勾配消失問題の解決
2.1.1 逆伝播時の経路短縮
残差接続は逆伝播時に勾配がショートカット経路を直接伝わることを可能にする。通常のネットワークでは誤差逆伝播が各層の重みを経由するたびに勾配が減衰するが、残差接続があると勾配の一部が恒等写像を通って直接前の層に届く。これにより、深い層から浅い層への勾配の流れが確保され、勾配消失が大幅に緩和される。
2.1.2 恒等写像の学習
残差ブロックは、最適な写像が恒等写像に近い場合、\( F(x) \) をゼロに近づけることで容易に恒等写像を表現できる。通常の層では恒等写像を学習するために重みを調整する必要があるが、残差接続ではバイアスが少なく、学習の初期段階から安定した情報伝達が可能となる。この性質により、非常に深いネットワークでも収束が促進される。
2.2 情報伝播の改善
残差接続は順伝播においても情報の流れを改善する。入力の情報がそのまま後段に伝わるため、ネットワークが深くなってもオリジナルの情報が保持されやすい。これにより、画像やテキストなどの低レベルな特徴が失われることなく高位の特徴と統合され、表現力が向上する。特にTransformerの自己注意機構において、残差接続は各サブレイヤーの出力安定性に寄与している。
2.3 正則化効果
残差接続には暗黙の正則化効果があるとされる。ショートカット経路があることで、ネットワークが各層に過度に依存せず、複数の経路を通じて特徴を学習するようになる。これにより、特定の層への過適合が抑制され、汎化性能が向上する。また、モデルのアンサンブル効果（異なる深さのパスが組み合わさる）も指摘されている。
3 応用分野
3.1 コンピュータビジョン
3.1.1 ResNetファミリー
残差接続の代表的な応用がResNet（Residual Network）である。2015年にMicrosoft ResearchのKaiming Heらが提案し、ILSVRC2015で優勝した。ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152など、層数の異なるバリエーションがあり、いずれも残差ブロックを積み重ねた構造を持つ。これにより、100層を超えるネットワークでも学習が可能となり、画像分類の精度を大幅に向上させた。
3.1.2 画像セグメンテーション
画像セグメンテーションタスクでも残差接続は広く利用されている。例えば、U-NetやDeepLabなどのアーキテクチャでは、エンコーダとデコーダ間のスキップ接続に残差接続の考え方が応用されている。また、残差ブロックをバックボーンとするセグメンテーションネットワーク（例：ResNetをベースにしたPSPNet、DeepLabv3+）が高い精度を達成している。残差接続により、低解像度の特徴と高解像度の特徴の融合が効果的に行われる。
3.2 自然言語処理
3.2.1 Transformerモデル
Transformerは2017年にVaswaniらが提案した系列変換モデルで、その中核に残差接続が組み込まれている。各サブレイヤー（マルチヘッド自己注意機構、位置ごとのフィードフォワードネットワーク）には残差接続とレイヤー正規化が適用され、出力は \( \text{LayerNorm}(x + \text{Sublayer}(x)) \) となる。これにより、深いエンコーダ・デコーダスタックでも勾配が安定し、大規模なモデル学習が可能になった。
3.2.2 BERTとGPT
Transformerをベースにした事前学習モデルBERTやGPTでも残差接続は必須の要素である。BERTは12層または24層のTransformerエンコーダを積み重ね、各層で残差接続を使用している。GPTシリーズ（GPT-2, GPT-3, GPT-4）も同様にTransformerデコーダを深く積んでおり、残差接続が深層化を支えている。これらのモデルでは、残差接続がないと数百層にわたる学習は困難である。
3.3 音声処理
音声認識や音声合成の分野でも残差接続は重要な役割を果たしている。例えば、WaveNetやTacotron2などの音声生成モデルでは、残差ブロックを用いて長期的な依存関係を学習する。音声認識のための畳み込みニューラルネットワーク（例：Deep Speech 2）でも残差接続が採用され、深いネットワークでの学習安定性と認識精度の向上に貢献している。
4 発展的トピック
4.1 派生技術
4.1.1 高密度接続（DenseNet）
DenseNet（Densely Connected Convolutional Networks）は、残差接続の考え方をさらに発展させ、各層がそれ以前のすべての層と直接接続されるアーキテクチャである。これにより、勾配消失問題をより強力に緩和し、層間の情報流を最大化する。一方で、特徴マップのチャネル数が急速に増加するため、計算コストの調整が必要となる。DenseNetは画像認識においてResNetを凌ぐ性能を示した。
4.1.2 ワイド残差ネットワーク（Wide ResNet）
Wide ResNetは、残差ブロックのチャネル幅（フィルター数）を増やすことで、層数を増やさずに表現力を高める手法である。深さよりも広さを重視し、各残差ブロック内の畳み込み層の数を増やす代わりにフィルター数を拡大する。これにより、計算効率を保ちつつ精度を向上できる。Wide ResNetは、ResNetと比較して学習時間が短く、実用的な改良として広く使われている。
4.2 理論的進展
4.2.1 表現力の解析
残差接続の表現力に関する理論的研究が進んでいる。残差ネットワークは、通常の畳み込みネットワークと比較して、同じパラメータ数でより複雑な関数を近似できる可能性が示されている。また、残差ブロックの繰り返しが、関数空間における滑らかさや汎化性能に与える影響についても解析が行われている。特に、残差接続がネットワークのリプシッツ定数を制御しやすいという性質が指摘されている。
4.2.2 力学系としての解釈
残差ネットワークは、連続的な力学系の離散化と解釈できる。すなわち、残差ブロック \( x_{t+1} = x_t + F(x_t, \theta_t) \) は、微分方程式 \( \frac{dx}{dt} = F(x(t), \theta(t)) \) のオイラー法による離散化とみなせる。この視点から、ニューラルODE（Neural Ordinary Differential Equations）などの新しいモデルが提案され、層の数を連続的に扱う方法論へと発展した。この解釈は、残差接続の深層学習における理論的基盤をより強固なものにしている。
4.3 限界と課題
4.3.1 過適合リスク
残差接続は正則化効果を持つ一方で、ネットワークが非常に深くなると、ショートカット経路によってノイズも伝播しやすくなり、過適合のリスクが生じる。特にデータ数が少ないタスクでは、残差ブロックが過度に密な接続を生み、訓練データへの適合が強まりすぎることがある。これに対しては、ドロップアウトや重み減衰といった正則化手法との併用が推奨される。
4.3.2 計算コスト
残差接続そのものは加算演算のみで計算量は少ないが、残差ブロック内の畳み込み層や全結合層の計算コストはネットワーク全体の規模に比例して増大する。特に、非常に深いResNet（例：ResNet-152）ではメモリ消費と演算時間が大きくなる。また、ショートカット接続のために活性化関数前後のテンソルを保持する必要があり、メモリ使用量が増加する。これらを軽減するために、バッチ正規化の最適化や効率的な実装（例：グループ畳み込み）が研究されている。