1.1 既存の系列変換モデルの課題
1.1.1 RNNの逐次計算の制約
再帰型ニューラルネットワーク（RNN）は系列データを時間ステップごとに逐次的に処理するため、並列計算が困難であり、長い系列では勾配消失や爆発の問題が生じやすい。また、各時刻の隠れ状態が前時刻の状態に依存するため、訓練時の計算時間が系列長に比例して増大する。
1.1.2 CNNの局所的な受容野の限界
畳み込みニューラルネットワーク（CNN）は局所的な受容野を持ち、系列全体の依存関係を捉えるには深い層を積み重ねる必要がある。また、カーネルサイズや層数に応じて計算コストが増加し、長距離の依存関係を効率的にモデル化することが難しい。
1.2 注意機構の役割と発展
注意機構（Attention Mechanism）は、系列内の各位置が他の位置に対してどの程度注目すべきかを動的に重み付けする手法として提案された。従来はRNNやCNNと組み合わせて使われていたが、Vaswaniらは注意機構のみで系列変換を実現する可能性を追求し、Transformerの設計に至った。
2.1 全体構造
Transformerはエンコーダとデコーダから構成される。エンコーダは入力系列を表現ベクトルに変換し、デコーダはその表現を基に出力系列を生成する。いずれも複数の同一層を積み重ねた構造を持つ。
2.1.1 エンコーダ
エンコーダはN個の同一層からなる。各層はマルチヘッド自己注意機構と位置ごとのフィードフォワードネットワークを主要な構成要素とし、それぞれの後に残差接続と層正規化が適用される。
2.1.2 デコーダ
デコーダもN個の同一層からなるが、各層にはエンコーダと同様の自己注意機構とフィードフォワードネットワークに加え、エンコーダの出力に対するマルチヘッド注意機構が挿入される。また、自己注意機構ではマスク処理により未来の情報を参照できないようにする。
2.2 主要構成要素
2.2.1 自己注意機構
自己注意機構は、系列内の各位置が他の全ての位置との関係を計算する機構である。これにより、各位置が系列全体の文脈情報を直接参照できる。
2.2.1.1 スケーリングドット積注意
スケーリングドット積注意は、クエリQ、キーK、バリューVの行列を用いて注意スコアを計算する。スコアはQとKの内積を√d_k（キーの次元）でスケーリングした後、ソフトマックス関数で正規化し、その重みでVを加重和する。スケーリングは内積の分散を抑える効果がある。
2.2.1.2 マルチヘッド注意
マルチヘッド注意は、単一の注意計算をh個の異なる線形射影で並列に行い、それらの出力を結合して再び線形変換する。これにより、モデルは異なる表現空間から複数の関係を同時に学習できる。
2.2.2 位置エンコーディング
Transformerには系列の順序情報が欠如しているため、入力の各位置に正弦波関数に基づく位置エンコーディングを加算する。これにより、モデルは位置の相対関係や絶対位置を認識できる。
2.2.3 フィードフォワードネットワーク
各注意層の後に、位置ごとに独立して適用される2層の全結合ネットワークが配置される。活性化関数にはReLUが用いられ、内部の次元は入出力の次元より大きい（例：d_model=512に対してd_ff=2048）。
2.2.4 残差接続と層正規化
各サブ層（注意機構やフィードフォワードネットワーク）の出力は、元の入力と加算された後、層正規化が適用される。これにより勾配の流れが安定し、深い層の訓練が容易になる。
2.3 マスクされた自己注意（デコーダ内）
デコーダの自己注意機構では、各時刻において未来の位置への注意を禁止するマスクを適用する。これにより、出力系列を左から右へ自己回帰的に生成する際の整合性が保たれる。
3.1 機械翻訳タスク
3.1.1 WMT 2014 英独翻訳
WMT 2014の英独翻訳タスクにおいて、Transformer（baseモデル）は28.4のBLEUスコアを達成し、従来の最先端モデル（27.3）を上回った。より大規模なbigモデルでは41.0のBLEUスコアを記録した。
3.1.2 WMT 2014 英仏翻訳
英仏翻訳タスクでは、Transformer（bigモデル）が41.8のBLEUスコアを達成し、従来モデルの39.2を大きく上回った。この結果は、Transformerが大規模データにおいても優れた性能を示すことを証明した。
3.2 モデル設定とハイパーパラメータ
Transformerはエンコーダとデコーダにそれぞれ6層を積み重ね、マルチヘッド注意のヘッド数は8、モデル次元d_model=512、フィードフォワード層の次元d_ff=2048とした。訓練にはAdam最適化器を使用し、学習率はウォームアップ後に逆平方根で減衰させるスケジュールを採用した。ドロップアウトやラベルスムージングなどの正則化も適用された。
3.3 性能比較
3.3.1 BLEUスコア
Transformerは英独・英仏両タスクでBLEUスコアの新記録を達成し、RNNやCNNベースのモデルを上回った。特に、GPU 8台で3.5日間の訓練でこれらを実現した点が注目された。
3.3.2 訓練時間と計算コスト
Transformerは逐次計算を必要とせず、全系列を並列に処理できるため、訓練時間が大幅に短縮された。当時の最先端モデルと比較して、約3分の1から4分の1の時間で同等以上の性能を達成した。
4.1 注意分布の解釈
論文では、異なるヘッドが構文的関係（例：主語と動詞の結びつき）や意味的関係に対して異なる注意パターンを学習することを可視化により示した。これにより、自己注意機構が言語の構造を捉えていることが確認された。
4.2 エンコーダ層数の影響
エンコーダ各層の注意分布を比較すると、下位層では局所的な関係に、上位層ではより抽象的な関係に注意が向く傾向が見られた。層を増やすほど表現力が向上するが、過剰な層は過学習を引き起こす可能性も示唆された。
4.3 一般化能力と汎用性
Transformerは機械翻訳以外のタスク（構文解析、文要約など）にも容易に適用可能であり、多様な系列変換問題に対して汎用的なアーキテクチャであることが示された。また、転送学習やマルチタスク学習にも適している。
5.1 NLP分野への波及効果
5.1.1 BERTと事前学習モデル
Transformerのエンコーダを基にしたBERT（Bidirectional Encoder Representations from Transformers）は、マスクされた言語モデルと次文予測による事前学習で多くのNLPタスクに新記録をもたらした。以降、多数の事前学習モデルがTransformerの派生として登場した。
5.1.2 GPT系列への応用
Transformerのデコーダを基にしたGPT（Generative Pre-trained Transformer）は、自己回帰的な言語生成において卓越した性能を示した。GPT-3やChatGPTなど、大規模化によりさらに強力なモデルが開発され、生成AIの基盤技術となった。
5.2 他分野への展開
5.2.1 画像処理（Vision Transformer）
Transformerを画像認識に適用したVision Transformer（ViT）は、画像をパッチに分割して系列として扱うことで、従来のCNNに匹敵する性能を達成した。その後、画像生成や動画理解などにも展開されている。
5.2.2 音声処理とマルチモーダル
音声認識や音声合成、さらには音声とテキストを組み合わせたマルチモーダルタスクにもTransformerが応用されている。例えば、WhisperやWav2Vec2.0などがその例である。
5.3 効率的なTransformerの研究
Transformerの計算コスト（特に自己注意のO(n^2)複雑性）を削減するため、Linformer, Longformer, Reformerなどの効率的な変種が提案された。また、推論時の高速化を目的とした量子化や蒸留の研究も進んでいる。
6.1 メモリと計算コストの問題
自己注意機構は系列長nに対してO(n^2)のメモリと計算量を必要とするため、非常に長い系列（例：文書全体やゲノム配列）を扱うには困難が伴う。これがスケーラビリティの大きな制約となっており、軽量化手法が活発に研究されている。
6.2 長距離依存関係の扱い
理論上は自己注意が任意の距離の依存関係を捉えられるが、現実には位置エンコーディングや層数の限界により、極めて長距離の関係を効果的に学習できない場合がある。特に、再帰的処理による逐次性が失われることで、構造化された出力の一貫性に問題が生じることも指摘されている。
6.3 解釈可能性の課題
マルチヘッド注意の可視化からある程度の解釈は可能であるが、注意重みが必ずしも「重要度」を意味するとは限らず、モデルの内部表現を完全に理解することは難しい。ブラックボックス性が強く、医療や法律など説明責任が求められる分野での応用には障壁がある。