1 背景と概要
1.1 Transformerの基本原理
Transformerは、2017年にVaswaniらによって提案された深層学習アーキテクチャであり、自己注意機構（Self-Attention）を中核とする。従来のリカレントニューラルネットワーク（RNN）や畳み込みニューラルネットワーク（CNN）とは異なり、系列全体を同時に処理できるため、長距離依存関係の捉えやすさと並列計算効率に優れる。基本的な構成要素は、マルチヘッド自己注意層と位置単位のフィードフォワードネットワークであり、残差接続と層正規化を伴う。これにより、入力系列の任意の位置間の関連性を直接学習できる。
1.2 音声処理分野への導入の経緯
音声処理では従来、隠れマルコフモデル（HMM）やRNN、CNNが主流であったが、Transformerの成功を受け、音声認識（ASR）やテキスト音声合成（TTS）への応用が急速に進んだ。2018年頃から、Speech-TransformerやTransformer TTSなどのモデルが登場し、従来手法と同等以上の精度を達成した。特に、エンドツーエンドモデルでは、音響特徴量から直接テキストや音声波形を生成する枠組みが主流となり、Transformerの特性が大きく寄与した。
2 アーキテクチャ
2.1 エンコーダ
2.1.1 自己注意機構
自己注意機構は、入力系列内の全ての要素間の重み付き和を計算する。具体的には、Query（Q）、Key（K）、Value（V）の3つのベクトルを入力から生成し、スケーリングドット積注意（Attention(Q,K,V)=softmax(QK^T/√d_k)V）により出力を得る。マルチヘッド注意ではこれを複数回並列に実行し、異なる表現部分空間を捉える。音声処理では、時間フレーム間の音響的関係をモデル化するのに有効である。
2.1.2 位置エンコーディング
Transformerは系列の順序情報を持たないため、入力に位置情報を付加する必要がある。音声処理では、正弦波位置エンコーディングや学習可能な位置埋め込みが用いられる。近年では、相対位置バイアスや回転位置エンコーディング（RoPE）など、より音声の時間的連続性に適した方式も提案されている。
2.2 デコーダ
2.2.1 クロスアテンション
デコーダのクロスアテンション層では、デコーダの現在の状態（Query）とエンコーダ出力（Key, Value）との間で注意を計算する。これにより、デコーダはエンコーダが抽出した音響特徴量を参照しながら、目的の出力（テキストや音声パラメータ）を生成できる。音声合成では、テキストのエンコード結果と音響特徴のアライメントを学習する役割を担う。
2.2.2 自己回帰的生成
デコーダは自己回帰的に動作し、既に生成した出力を入力として次の要素を予測する。この際、未来の情報を参照しないようにマスク自己注意を用いる。音声合成では、メルスペクトログラムのフレームを逐次生成する際に使われる。ただし、自己回帰的生成は推論速度のボトルネックとなるため、非自己回帰モデルへの改良も進んでいる。
2.3 バリエーション
2.3.1 エンコーダのみのモデル
音声認識タスクの一部では、エンコーダのみを用いて音響特徴から直接出力系列を予測する。例えば、Connectionist Temporal Classification（CTC）と組み合わせたモデルが代表的である。この構成は、エンコーダ・デコーダモデルより軽量で、アライメントが不要な場合に有効。
2.3.2 エンコーダ・デコーダモデル
音声認識や音声合成の多くのタスクで用いられる標準的な構成。エンコーダが入力音声を特徴表現に変換し、デコーダが目的の出力を生成する。Transformer TTSやSpeech-Transformerがこの例であり、エンコーダ・デコーダ間のクロスアテンションが重要な役割を果たす。
3 学習とデータセット
3.1 学習手法
3.1.1 損失関数（CTC損失、クロスエントロピー損失など）
音声認識では、CTC損失が出力系列とラベル系列のアライメントを学習するのに用いられる。また、デコーダを用いるモデルでは、クロスエントロピー損失が一般的。音声合成では、メルスペクトログラムのL1損失や、生成モデルならではの敵対的損失が使われることもある。
3.1.2 最適化と正則化
最適化にはAdamやAdamWが広く使われる。学習率はウォームアップと減衰スケジュールが一般的。正則化手法として、ドロップアウト、ラベルスムージング、重み減衰が有効。特に音声データの変動性に対処するため、データ拡張（SpecAugmentなど）も併用される。
3.2 代表的なデータセット
3.2.1 LibriSpeech
約1000時間の英語朗読音声データセット。話者数が多く、クリーンとノイズを含むサブセットに分かれる。ASRモデルのベンチマークとして頻用される。Transformerベースのモデルも、このデータセットで評価されることが多い。
3.2.2 Common Voice
Mozillaが公開する多言語クラウドソーシング音声データセット。言語数が多く、各言語の話者数や録音環境が不均一。低リソース言語の研究にも活用される。
3.2.3 VCTK
英語の約100話者による短い発話からなるデータセット。話者認識や音声合成の研究で広く使われる。各話者の音声に統一的なテキストが付与されている。
4 主要な応用
4.1 音声認識（ASR）
4.1.1 エンドツーエンドモデル
Transformerエンコーダ・デコーダまたはエンコーダ＋CTCの構成で、音響特徴から直接テキストを出力。従来のHMM-DNNハイブリッドモデルより簡素なパイプラインを実現。Speech-Transformerや、Conformer（CNNとTransformerのハイブリッド）が代表的。
4.1.2 ハイブリッドモデル
音響モデルにTransformerを用い、言語モデルは別途学習する方式。外部言語モデルを利用することで認識精度を高める。特に、大規模コーパスで事前学習したTransformerエンコーダを音響モデルとして活用するアプローチが主流になりつつある。
4.2 テキスト音声合成（TTS）
4.2.1 Transformer TTS
2018年に提案された、Transformerを用いたTTSモデル。テキストのエンコードとメルスペクトログラムの生成を自己注意で行う。デコーダは自己回帰的で、品質は高いが推論が遅い。
4.2.2 FastSpeechシリーズ
非自己回帰型TTSモデル。Transformerエンコーダをベースに、長さ調整器（Duration Predictor）を用いてテキストと音声のアライメントを明示的にモデル化。推論速度が大幅に向上し、品質も自己回帰モデルに匹敵する。FastSpeech 2では、さらに音響特徴の分散予測を追加。
4.3 その他のタスク
4.3.1 話者認識
Transformerを用いて話者埋め込みを抽出する。自己注意機構により、発話内の話者固有の時間パターンを捉えやすい。近年では、ECAPA-TDNN（CNNベース）に対抗してTransformerベースの話者認識モデルも研究されている。
4.3.2 音声翻訳
音声を直接別の言語のテキストに変換するタスク。Transformerのエンコーダに音声特徴、デコーダに翻訳テキストを対応させる。音声認識と翻訳を統合したエンドツーエンドモデルが注目されている。
5 課題と限界
5.1 計算コストとモデルサイズ
TransformerはRNNより並列化に優れるが、自己注意の計算量が系列長の二乗に比例するため、長時間音声に対してはメモリ消費が大きい。また、大規模モデルは訓練と推論に多大な計算資源を要する。音声特有の長い系列を扱う際には、注意の効率化（スパース注意、Linformerなど）が必要となる。
5.2 音声の時間的構造への適応
音声は連続的な時間信号であり、フレーム間の局所的な相関が強い。Transformerの自己注意は大域的関係を捉えることに優れるが、局所的な時間パターンの学習にはCNNやRNNほどの効率性がない。そのため、ConformerのようにCNNと注意を組み合わせるハイブリッド手法が提案されている。
5.3 低リソース環境での性能
Transformerは大量のデータを必要とする傾向があり、数千時間以上のデータがないと十分に学習できない場合がある。低リソース言語や小規模なデータセットでは、過学習や性能低下が顕著。データ拡張や自己教師あり事前学習（wav2vec 2.0など）が対策として用いられる。
6 今後の展望
6.1 マルチモーダル統合
音声とテキスト、画像などを組み合わせたマルチモーダルモデルへの応用が進む。例えば、音声認識に視覚情報（リップリーディング）を加えることで雑音下での認識率向上が期待される。Transformerのクロスモーダル注意は、異なるモダリティ間の対応関係を学習するのに適している。
6.2 軽量化とエッジ展開
モバイルデバイスやIoT機器向けに、Transformerモデルの軽量化が重要課題。知識蒸留、量子化、プルーニング、効率的な注意機構（FlashAttentionなど）の開発が進んでいる。音声アシスタントやリアルタイム翻訳への実装が見込まれる。
6.3 自己教師あり学習との融合
wav2vec 2.0、HuBERT、WavLMなどの自己教師あり学習手法は、ラベルなし音声データから高品質な表現を学習する。これらはTransformerエンコーダを基盤としており、下流タスク（ASR、話者認識など）で高い性能を示す。今後は、これらの事前学習モデルを様々な音声タスクで統一的に利用する方向性が強まると考えられる。