1 基本原理
1.1 条件付き確率分解
| 自己回帰型言語モデリングは、テキスト系列の同時確率を条件付き確率の積に分解する手法である。長さTの系列x₁, x₂, …, xₜに対して、P(x₁, x₂, …, xₜ) = ∏_{t=1}^{T} P(xₜ | x₁, …, x_{t-1})として表現される。この分解はチェインルールに基づき、各時刻のトークンがそれ以前の全トークンに条件付けられることを意味する。モデルは各ステップで条件付き分布を学習し、言語の構造的連続性を捉える。 |
|---|
1.2 自己回帰プロセス
自己回帰プロセスでは、モデルが前ステップで生成した出力を次のステップの入力として再利用する。推論時には、最初に開始トークン（例えば[CLS]や[BOS]）を与え、モデルが次のトークンの確率分布を出力し、その分布からサンプリングまたは決定論的な選択でトークンを決定する。このトークンは次のステップの入力に追加され、終了トークン（[EOS]）が生成されるまで反復される。この逐次的な生成は「左から右」の方向性を持ち、系列の長さに比例した計算ステップを必要とする。
1.3 歴史的起源：n-gramモデルからニューラルネットへ
自己回帰の概念は統計的自然言語処理のn-gramモデルに由来する。n-gramモデルは固定長の履歴（n-1個の単語）に基づき次の単語の確率を計算するが、長距離依存を捉えられない。1990年代から2000年代にかけて、フィードフォワードニューラルネットを用いた言語モデル（Bengioら, 2003）が提案され、連続空間での単語表現を学習した。その後、リカレントニューラルネットワーク（RNN）が系列データの逐次処理に適し、自己回帰モデルの基盤となった。2017年のTransformerアーキテクチャの登場により、並列計算と長距離依存の扱いが飛躍的に向上し、GPTシリーズなどの大規模自己回帰モデルが実用化された。
2 モデルアーキテクチャ
2.1 RNNベースの自己回帰モデル
RNNは隠れ状態を介して過去の情報を保持し、各時刻tで入力xₜと前時刻の隠れ状態h_{t-1}から新しい隠れ状態hₜを計算し、出力yₜ（次のトークンの確率分布）を生成する。この構造は本質的に自己回帰的であり、勾配消失・爆発の問題が生じやすい。
2.1.1 LSTMとGRU
Long Short-Term Memory（LSTM）はセル状態とゲート機構（入力ゲート、忘却ゲート、出力ゲート）を導入し、長期依存の学習を改善した。Gated Recurrent Unit（GRU）はLSTMを簡略化し、リセットゲートと更新ゲートのみで同様の効果を達成する。両者ともバニラRNNに比べて勾配の流れを安定化し、中期長の系列で有効である。
2.1.2 長期依存の問題
LSTMやGRUでも、系列長が数千以上になると長期依存の保持が困難になる。これは隠れ状態がステップを経るごとに情報が減衰・干渉するためであり、特に非常に長い文書やコード全体を扱う場合に性能が低下する。また、逐次処理のため並列化が難しく、訓練速度が制約される。
2.2 Transformerベースの自己回帰モデル
Transformerは注意機構（Attention）により、全時刻のトークン間の依存を直接計算する。自己回帰モデルとして用いる場合、未来のトークンへの注意を防ぐためのマスクと、系列内の位置情報を付与する機構が必要となる。
2.2.1 因果的マスク（Causal Masking）
因果的マスクは、各トークンが自身とそれ以前のトークンにのみ注意を向けられるようにする。具体的には、注意スコア行列の右上三角部分を負の無限大に設定し、ソフトマックス後に未来のトークンへの重みがゼロになるようにする。これにより、現在のトークンの予測が未来の情報を利用することを防ぎ、自己回帰の条件付き独立性を保証する。
2.2.2 位置エンコーディング
Transformerの自己注意機構は系列内の順序情報を持たないため、位置エンコーディングを追加する必要がある。代表的な方法として、正弦波位置エンコーディング（固定関数）と学習可能位置エンベディングがある。GPTシリーズでは学習可能な絶対位置エンコーディングが使われ、近年では相対位置エンコーディング（RoPE、ALiBiなど）も提案され、未見の系列長への一般化を改善している。
2.3 ハイブリッドアーキテクチャ
RNNとTransformerを組み合わせたハイブリッドモデルも存在する。例えば、Transformerのエンコーダでコンテキストを一括処理し、RNNやTransformerデコーダで逐次生成を行う。また、線形注意機構や状態空間モデル（Mambaなど）は、Transformerの二次の計算量を削減しつつ、自己回帰生成を可能にする。これらのアーキテクチャは、長系列の高速推論と品質の両立を目指す。
3 学習と最適化
3.1 教師あり学習：Teacher Forcing
自己回帰モデルの訓練では、正解の系列全体が与えられる。教師あり学習の標準手法であるTeacher Forcingは、各時刻で前時刻の正解トークンを入力として与え、モデルに次のトークンを予測させる。これにより、訓練中の誤差伝播を安定化し、並列計算が可能になる（各時刻の予測を独立に計算）。しかし、推論時にはモデル自身の予測が入力となるため、訓練と推論の分布の不一致（露出バイアス）を引き起こす。
3.2 自己回帰的損失関数
3.2.1 交差エントロピー損失
| 標準的な損失関数は、各時刻の真のトークンに対する交差エントロピーを系列全体で平均したものである。具体的には、L = - (1/T) ∑_{t=1}^{T} log P(xₜ | x_{<t}) と定義される。この損失は、正解トークンに高い確率を割り当てるようモデルを導く。 |
|---|
3.2.2 ラベル平滑化
| ラベル平滑化は、正解ラベルをone-hotベクトルではなく、微小な一様分布と混合することで過学習を防ぐ。例えば、正解トークンには1-εの確率を、他の全トークンにはε/ | V | （Vは語彙サイズ）を割り当てる。これにより、モデルが予測分布を過度に尖らせることを抑制し、汎化性能が向上する。 |
|---|
3.3 訓練効率の向上
3.3.1 バッチ処理とパディング
バッチ処理では、複数の系列を同時に処理するため、系列長を揃えるためにパディングトークン（[PAD]）を追加する。パディング部分の損失は無視されるようマスクされる。Transformerではパディングマスクを注意機構に適用し、無駄な計算を避ける。
3.3.2 動的バッチング
系列長が大きく異なる場合、静的なパディングは計算効率を低下させる。動的バッチングは、系列長が類似したサンプルを同じバッチにまとめる方法である。これにより、パディングの割合が減り、GPUのメモリ利用と計算速度が向上する。
4 推論と生成
4.1 復号戦略
4.1.1 貪欲復号
各時刻で確率が最大のトークンを選択する最も単純な方法。計算は高速だが、一度の選択が後の選択を制限し、局所最適に陥りやすい。多様性の低い出力になりがちである。
4.1.2 ビームサーチ
各ステップで確率上位のk個の候補（ビーム）を保持し、最終的に最もスコアの高い系列を選択する。kが大きいほど探索範囲が広がるが計算量も増加する。ビーム幅の調整により品質と速度のトレードオフを図る。文書要約や機械翻訳でよく使われる。
4.1.3 サンプリング法（Top-k, Top-p）
確率分布からサンプリングすることで多様性を確保する。Top-kサンプリングは確率上位k個のトークンのみに絞って再正規化しサンプリングする。Top-p（Nucleus Sampling）は累積確率がpに達するまでトークンを選択し、その中からサンプリングする。これらの手法は、低確率のトークンが極端に選ばれるリスクを減らしつつ、創造的な生成を可能にする。
4.2 自己回帰生成の課題
4.2.1 露出バイアス（Exposure Bias）
教師あり学習で「正解」を入力として訓練されたモデルは、推論時に自身の誤った予測が連続することで誤差が蓄積する。この訓練と推論のギャップが露出バイアスである。対策として、スケジュールドサンプリング（徐々にモデル自身の出力を入力に混ぜる）や、生成的敵対ネットワーク（GAN）の導入、強化学習による微調整（RLHF）などがある。
4.2.2 推論速度とキャッシュ機構
自己回帰モデルは逐次生成のため、系列長に比例した計算ステップを要し、特に大規模モデルではレイテンシが問題となる。高速化のために、Key-Valueキャッシュ（KVキャッシュ）が用いられる。Transformerデコーダでは、前ステップまでの注意のKeyとValueを保持しておくことで、現ステップでは新しいトークンに対する計算のみで済む。これにより計算量が各ステップで一定になり、生成が高速化される。しかし、キャッシュのメモリ消費は系列長に比例して増加する。
5 応用分野
5.1 テキスト生成（小説、詩、要約）
自己回帰モデルは、文章の続きを自然に生成できるため、小説や詩の創作、記事の自動執筆、要約生成に利用される。GPTシリーズやLLaMAなどが代表的であり、プロンプトに応じてスタイルや内容を制御できる。要約では、入力文書をエンコードし、デコーダで逐次的に要約文を生成する。
5.2 対話システムとチャットボット
対話システムでは、ユーザの発話とシステムの過去の発話を履歴として与え、次の応答を生成する。自己回帰モデルは文脈を反映した自然な応答を生成可能で、ChatGPTなどの大規模対話モデルの中核技術である。感情調整やペルソナ設定もプロンプトエンジニアリングで実現される。
5.3 コード生成と補完
プログラミング言語の文法に従ったコード補完や、自然言語の指示からコードを生成するタスクに使用される。GitHub Copilot（Codexベース）やStarCoderなどが該当する。コードのシンタックスハイライトや型情報を考慮し、条件付き確率分解によりトークン単位でコードを生成する。
5.4 音声認識と時系列予測
音声認識では、音響特徴量から音素または文字の系列を自己回帰的に予測する（CTCやRNN-Tと組み合わせる場合もある）。時系列予測では、過去の観測値から将来の値を逐次予測する。例として、株価予測、天気予測、トラフィック予測などがあり、Transformerベースのモデルが従来のARIMAやRNNを上回る性能を示すことも多い。
6 制限と今後の方向性
6.1 計算コストとメモリ消費
自己回帰生成はO(T)の逐次ステップを要するため、長い系列では推論時間が線形に増加する。また、Transformerの注意機構はO(T²)のメモリを消費するため、KVキャッシュの管理が重要となる。大規模モデルでは数百GBのGPUメモリが必要になることもあり、エッジデバイスへの展開が困難である。モデル圧縮（蒸留、量子化、枝刈り）や効率的な注意機構（FlashAttention）が研究されている。
6.2 長距離依存の限界
Transformerの自己注意は理論上任意の距離の依存を捉えられるが、実際には位置エンコーディングの制約や訓練時の系列長上限により、数万トークンを超えるコンテキストでは性能が低下する。長文書の理解や、書籍全体の生成では、再帰的処理（例：RecurrentGPT）や圧縮手法が必要となる。
6.3 代替手法との比較（非自己回帰モデル）
非自己回帰モデル（NAR）は、全トークンを独立または一括で予測することで、推論を1ステップまたは少数ステップに圧縮する。例として、Masked Language Modeling（BERT）や、挿入・削除によるIterative Refinementがある。NARは推論速度が速いが、自己回帰モデルほどの品質が出にくい。近年では、部分的な自己回帰（CausalLMとMaskedLMのハイブリッド）や、拡散モデルを用いたテキスト生成も研究されている。
6.4 ユーモアと創造性の萌芽：将来の「暴走」生成リスク
自己回帰モデルは大量のテキストから統計的パターンを学習するため、既存のユーモアや創造性を模倣することができる。一方、学習データに偏りや有害な表現が含まれると、生成が過激化したり、無意味な連鎖（暴走）を起こすリスクがある。例えば、感情的な内容や矛盾した情報を連続生成する現象が報告されている。将来のモデルでは、人間のフィードバックによる制御や、生成過程での安全性チェック機構の強化が求められる。また、創造性の制御（温度パラメータやトークン制限）により、意図しない暴走を防ぐ工夫が実際の応用で行われている。