←

修改词条 / Edit entry / 词条を編集

词条标题 / Entry title / 词条タイトル语言 / Language / 言語分类 / Category / カテゴリ二级分类 / Subcategory / サブカテゴリ Markdown 正文 / Markdown body / Markdown 本文

# Transformer

Transformerは、2017年にGoogleの研究者（Vaswaniら）が発表した深層学習アーキテクチャであり、「自己注意機構（Self-Attention）」を中核とする。従来のリカレントニューラルネットワーク（RNN）や畳み込みニューラルネットワーク（CNN）に依存せず、並列計算が可能で長距離依存関係の捕捉に優れる。自然言語処理（NLP）分野で革命をもたらし、BERTやGPTシリーズなど数多くの先端モデルの基盤となった。現在では画像、音声、マルチモーダル処理など幅広い領域に応用されている。

## 1 歴史と背景

### 1.1 従来の系列モデルの課題

Transformer登場以前の系列モデリングでは、RNN（特にLSTMやGRU）が主流であった。これらのモデルは逐次処理を前提とするため、長い系列では勾配消失や爆発の問題が顕著であり、並列化が困難で学習に時間を要した。また、系列全体の文脈を捉えるために双方向RNNを用いても、距離が離れた要素間の依存関係を効率的に学習することは難しかった。畳み込みニューラルネットワークを用いた手法も試みられたが、畳み込みの受容野を拡大するには層を深くする必要があり、計算効率と長期依存性の捕捉に限界があった。

### 1.2 「Attention is All You Need」論文の発表

2017年6月、Google BrainチームのVaswaniらは論文「Attention is All You Need」を発表した。この論文では、再帰や畳み込みを一切用いず、自己注意機構のみで構成された新しいアーキテクチャTransformerを提案した。機械翻訳タスクにおいて、当時の最高性能を達成しつつ、学習時間を大幅に短縮したことが注目を集めた。このアーキテクチャの革新性は、系列全体の要素間の依存関係を並列に計算できる点にあり、以降の深層学習研究に大きな影響を与えた。

### 1.3 初期の採用と普及

発表直後から、Transformerは自然言語処理コミュニティで急速に採用された。2018年に発表されたBERT（Google）とGPT（OpenAI）は、Transformerをベースにした事前学習モデルであり、各種NLPタスクで当時の最先端を達成した。その後、Transformerを改良・拡張した多数のモデルが登場し、2020年代には多くの深層学習フレームワークに標準実装されるようになった。また、画像処理への応用としてVision Transformer（2020年）が提案され、Transformerの応用範囲はNLPを超えて広がった。

## 2 アーキテクチャ

### 2.1 エンコーダーとデコーダーの基本構造

Transformerは、エンコーダーとデコーダーの2つの主要ブロックから構成される。エンコーダーは入力系列を一連の隠れ表現に変換し、デコーダーはその表現を基に出力系列を生成する。エンコーダーとデコーダーはそれぞれ複数の同一構造の層を積み重ねた構成をとる。各層は、自己注意機構とフィードフォワードネットワークを主な構成要素とし、それぞれに残差接続と層正規化が適用される。デコーダーでは、出力の自己注意機構にマスキング処理が加えられ、未来の情報を参照できないようにする点がエンコーダーと異なる。

### 2.2 自己注意機構

自己注意機構は、入力系列内の各要素が他のすべての要素との関連性を計算し、重み付け和を求める仕組みである。これにより、系列内の任意の2点間の依存関係を直接モデル化できる。RNNのように逐次処理を行う必要がなく、並列計算が可能な点が大きな利点である。

#### 2.2.1 スケーリングドット積注意

スケーリングドット積注意は、クエリ（Q）、キー（K）、バリュー（V）の3つの行列を用いて注意重みを計算する。各クエリとすべてのキーとの内積を計算し、スケーリング係数（d_kの平方根の逆数）を掛けた後、ソフトマックス関数を適用して注意重みを得る。この重みをバリューに掛けて和をとることで、注目された特徴を抽出する。スケーリングは内積の値が大きくなりすぎるのを防ぎ、勾配の安定性を向上させる。

#### 2.2.2 マルチヘッド注意

マルチヘッド注意は、複数の異なる注意機構（ヘッド）を並列に動作させ、その出力を結合する手法である。各ヘッドは異なる線形変換を施したQ、K、Vを用いて独立に注意を計算し、得られた結果を連結した後、再度線形変換して最終的な出力を得る。これにより、モデルは異なる表現部分空間で多様な関連パターンを学習できる。典型的には8〜16個のヘッドが用いられる。

### 2.3 位置エンコーディング

Transformerは自己注意機構の特性上、系列の順序情報を直接扱えない。そのため、入力に位置情報を明示的に付与する位置エンコーディングが必要となる。原著では、異なる周波数を持つ正弦波と余弦波の関数を用いた固定の位置エンコーディングを採用している。これにより、任意の系列長に対応でき、相対的な位置関係も暗黙的に表現できる。後に学習可能な位置エンコーディングや相対位置エンコーディングなどの改良も提案されている。

### 2.4 フィードフォワードネットワークと残差接続

各Transformer層の自己注意機構の後には、位置ごとに独立に適用されるフィードフォワードネットワーク（FFN）が配置される。FFNは通常、2層の全結合層とReLU活性化関数で構成され、隠れ次元を拡大（例えば2048次元）した後に元の次元に戻す。これにより非線形変換が導入される。残差接続は各サブ層（自己注意機構やFFN）の入力と出力を加算する働きを持ち、勾配の流れを改善し深いネットワークの学習を安定化させる。層正規化は残差接続の前または後に適用される。

## 3 主要な派生モデル

### 3.1 エンコーダー型：BERT（Bidirectional Encoder Representations from Transformers）

BERTは、Transformerエンコーダーを積み重ねたアーキテクチャを持つ。マスク言語モデルと次文予測という2つの事前学習タスクを用いて、大規模な教師なしテキストから双方向の文脈表現を学習する。事前学習後、タスク固有の出力層を追加してファインチューニングすることで、さまざまなNLPタスクで高い性能を発揮する。BERTは11のNLPタスクで当時の最先端を達成し、Transformerの可能性を広く示した。

### 3.2 デコーダー型：GPTシリーズ（Generative Pre-trained Transformer）

GPTは、Transformerデコーダーのみを用いた自己回帰モデルである。左から右への言語モデリング（次のトークン予測）を事前学習タスクとし、大規模なデータで訓練される。GPT-2、GPT-3、GPT-4へと発展するにつれてモデルサイズが急増し、ゼロショットや少数ショット学習で顕著な能力を示した。特にGPT-3は1750億パラメータを持ち、文章生成や対話、コーディングなど多様なタスクを自然言語の指示だけで実行できることを実証した。

### 3.3 エンコーダー-デコーダー型：T5（Text-To-Text Transfer Transformer）

T5は、すべてのNLPタスクをテキストからテキストへの変換問題として統一するアーキテクチャである。Transformerのエンコーダー-デコーダー構造をそのまま採用し、事前学習にはノイズ除去目的（入力にランダムなスパンをマスクして、それを出力で復元する）を用いる。タスクごとに異なるヘッドを必要とせず、入力テキストにタスク指示を付与するだけで多様なタスクを解くことができる。

### 3.4 視覚領域への応用：Vision Transformer（ViT）

Vision Transformerは、画像を固定サイズのパッチに分割し、各パッチを線形埋め込みしてTransformerに入力するアーキテクチャである。従来のCNNの代わりに純粋なTransformerを画像分類に適用し、大規模データセットで事前学習することでCNNと同等以上の性能を達成した。ViTの成功は、Transformerが画像処理にも有効であることを示し、その後の画像生成、物体検出、セグメンテーションなど多くの視覚タスクにTransformerが導入される契機となった。

## 4 応用例

### 4.1 自然言語処理

#### 4.1.1 機械翻訳

Transformerは元々機械翻訳のために設計され、発表時点で最高の翻訳品質を達成した。以降、翻訳システムの主流アーキテクチャとなり、Google翻訳などの商用サービスにも採用されている。多言語翻訳モデル（mBART、M2M-100など）もTransformerをベースにしており、数百言語間の翻訳が可能である。

#### 4.1.2 文章生成と対話システム

GPTシリーズに代表されるデコーダー型Transformerは、自然で流暢な文章生成に優れる。チャットボット、ストーリー生成、コード生成など幅広い用途で利用される。ChatGPTはこの技術の代表的な応用例であり、ユーザーとの自然な対話を実現している。

#### 4.1.3 質問応答と要約

BERTやT5を使用した質問応答システムは、与えられた文書から答えを抽出または生成する。要約タスクでは、長文の内容を簡潔にまとめる抽象的要約や、重要な文を抜き出す抽出型要約の両方でTransformerが活用される。

### 4.2 コンピュータビジョン

#### 4.2.1 画像分類と物体検出

ViTは画像分類の標準的なベースラインとなり、その後DETR（Detection Transformer）などの物体検出モデルもTransformerを採用している。これらのモデルはCNNベースの手法に比べ、パイプラインがシンプルでエンドツーエンドの学習が可能という利点を持つ。

#### 4.2.2 画像生成（例：DALL-E）

DALL-Eは、テキストの説明から画像を生成するモデルで、Transformerをテキストと画像の両方の表現に用いている。テキストと画像パッチを連結した系列を自己回帰的に生成することで、テキストと一致する画像を出力する。このアプローチは画像生成の新しい可能性を切り開いた。

### 4.3 音声処理とマルチモーダル

#### 4.3.1 音声認識

Transformerは音声認識においてもRNNやCNNに代わるアーキテクチャとして採用されている。エンコーダーで音響特徴を処理し、デコーダーでテキストを生成するモデル（Speech Transformer、Whisperなど）が高い認識精度を示している。

#### 4.3.2 テキストと画像の統合モデル

CLIPやALIGNなどのモデルは、テキストと画像を共通の埋め込み空間に射影するためにTransformerを用いる。これらのモデルはゼロショット画像分類や画像検索などで顕著な性能を発揮し、マルチモーダル学習の基盤技術となっている。

## 5 影響と課題

### 5.1 計算コストと効率化

Transformerの自己注意機構は系列長Nに対してO(N^2)の計算量を持つため、長い系列を扱う際に大きな計算リソースを必要とする。この問題に対処するため、さまざまな効率化手法が提案されている。

#### 5.1.1 長い系列への対応（例：Longformer、Reformer）

Longformerは、自己注意を局所注意と少数のグローバル注意の組み合わせに置き換えることで線形の計算量を実現した。Reformerは、LSH（局所性鋭敏型ハッシュ）を用いて効率的な注意計算を行う。また、LinformerやPerformerなどの手法は、カーネル近似を利用して注意機構の計算を線形化する。

#### 5.1.2 モデル圧縮と知識蒸留

大規模Transformerモデルはパラメータ数が非常に多いため、推論時のメモリと計算量が課題となる。知識蒸留では、大規模な教師モデルの出力を小型の生徒モデルに学習させることで、性能を維持しながらモデルサイズを削減する。量子化、枝刈り、低ランク近似などの手法も併用される。

### 5.2 解釈可能性とバイアス

Transformerの自己注意機構は、注意重みを可視化することでモデルがどの入力要素に注目しているかを部分的に解釈できる。しかし、完全な判断根拠の説明は難しく、ブラックボックス性が課題である。また、事前学習データに含まれる社会的バイアス（性別や人種に関する偏見など）をモデルが学習・増幅する可能性があり、倫理的な問題が指摘されている。デバイアス手法や公平性の確保は活発な研究領域である。

### 5.3 将来の方向性

Transformerの将来は、さらなる効率化とスケーラビリティの向上、マルチモーダル・マルチタスク学習の統合が中心となると考えられる。状態空間モデル（Mambaなど）やハイブリッドアーキテクチャの登場により、Transformerの枠組みを超えた手法も研究されている。また、継続学習、数値推論、計画能力など、現在のTransformerが苦手とする認知機能の強化も重要な方向性である。よりエネルギー効率の良いハードウェアや学習アルゴリズムの開発とともに、Transformerの進化は今後も続く。