1 基本概念
1.1 系列データの定義と種類
系列データとは、時間的順序や論理的順序に従って観測されたデータ点の集合である。各データ点は系列内での位置（タイムステップ）によって識別され、観測値と順序情報の両方が重要な意味を持つ。代表的な種類として、時系列データ（株価、気温、センサー測定値）、テキストデータ（単語列、文字列）、音声データ（波形フレーム）、動画データ（フレーム列）、ゲノム配列データ（塩基またはアミノ酸の配列）が挙げられる。
1.2 時間的依存関係と自己相関
系列データの特徴は、隣接するデータ点間の依存関係にある。時間的依存関係とは、過去の観測値が現在または将来の観測値に影響を与える性質を指す。自己相関は、同一系列の異なる時点間の統計的相関関係を示す指標であり、系列内の周期性やトレンドの検出に用いられる。ラグkの自己相関係数は、時間差kだけ離れた観測値間の線形関係を定量化する。
1.3 定常性と非定常性
定常過程とは、統計的性質（平均、分散、自己共分散）が時間の推移に対して不変である系列を指す。弱定常性は平均と分散が一定で、自己共分散が時間差のみに依存する性質を要求する。非定常過程は時間とともにこれらの統計量が変化する系列であり、トレンド（長期的な上昇・下降傾向）や季節変動（周期的パターン）、構造変化（系列の性質が突然変化する現象）を含む。多くのモデリング手法は定常性を前提とするため、非定常系列に対しては差分変換や対数変換などの前処理が施される。
2 古典的統計モデル
2.1 ARIMAモデル
2.1.1 自己回帰（AR）と移動平均（MA）
自己回帰（AR）モデルは、現在の値を過去p個の値の線形結合と誤差項で表現する。AR(p)モデルはx_t = c + φ₁x_{t-1} + φ₂x_{t-2} + ... + φ_px_{t-p} + ε_tと定式化される。移動平均（MA）モデルは、現在の値を過去q個の誤差項の線形結合で表現する。MA(q)モデルはx_t = c + ε_t + θ₁ε_{t-1} + θ₂ε_{t-2} + ... + θ_qε_{t-q}と表される。ARとMAを組み合わせたARMA(p,q)モデルは、より柔軟な時系列表現を可能にする。
2.1.2 差分と季節調整
ARIMAモデルはARMAモデルに差分操作（I: Integrated）を加えた拡張である。d次差分は、非定常系列を定常化するために連続する観測値の差をd回計算する操作を指す。季節性を持つ系列に対しては、季節ARIMA（SARIMA）モデルが用いられ、季節周期に応じたAR項、MA項、差分項を追加する。季節調整法には、移動平均による古典的分解やX-13ARIMA-SEATSなどの統計的手法が存在する。
2.2 状態空間モデル
2.2.1 カルマンフィルタ
状態空間モデルは、観測不可能なシステム状態の時間発展を表現するモデルである。カルマンフィルタは、線形ガウス状態空間モデルにおける状態推定のための逐次ベイズフィルタリング手法である。予測ステップ（状態の事前分布を更新）と更新ステップ（観測値で事後分布を補正）を交互に繰り返し、最小平均二乗誤差の意味で最適な状態推定を実現する。航空機の軌跡追跡、ロボットの位置推定、経済指標のノイズ除去などに広く応用される。
2.2.2 隠れマルコフモデル（HMM）
隠れマルコフモデルは、観測不能な隠れ状態がマルコフ過程に従い、各状態から観測値が確率的に生成される確率モデルである。HMMは、状態遷移確率行列、観測確率分布、初期状態分布の3つのパラメータで定義される。代表的な3つの基本問題として、評価問題（観測系列の確率計算）、復号問題（最尤状態系列の推定）、学習問題（パラメータ推定）が存在し、それぞれ前向きアルゴリズム、ビタビアルゴリズム、バーム・ウェルチアルゴリズムで解決される。音声認識、遺伝子配列解析、自然言語処理で広く利用される。
3 機械学習アプローチ
3.1 リカレントニューラルネットワーク（RNN）
3.1.1 基本構造とBPTT
リカレントニューラルネットワーク（RNN）は、系列データを処理するためのニューラルネットワークアーキテクチャである。各タイムステップで、現在の入力と前タイムステップの隠れ状態を結合して新しい隠れ状態を計算する再帰的構造を持つ。Backpropagation Through Time（BPTT）は、時系列方向にネットワークを展開し、時間軸に沿って誤差勾配を伝播させる学習アルゴリズムである。しかし、長期依存性を学習する際に勾配消失または勾配爆発の問題が生じやすい。
3.1.2 LSTMとGRU
Long Short-Term Memory（LSTM）は、勾配消失問題を解決するために設計されたRNNの改良型である。LSTMは、忘却ゲート、入力ゲート、出力ゲートの3つのゲート機構を持ち、セル状態を介して長期記憶を保持・更新する。Gated Recurrent Unit（GRU）はLSTMの簡略化版であり、リセットゲートと更新ゲートの2つのゲートで構成される。LSTMよりパラメータ数が少なく計算効率が高い一方、多くのタスクでLSTMと同等の性能を示す。
3.2 トランスフォーマーモデル
3.2.1 自己注意機構
自己注意機構（Self-Attention）は、系列内の全位置間の依存関係を直接計算する機構である。クエリ（Q）、キー（K）、バリュー（V）の3つの行列を用い、各位置が他の全位置に対してどの程度注目すべきかをスコア化する。スケーリングドット積注意はAttention(Q,K,V) = softmax(QK^T/√d)Vで計算され、dはヘッドの次元数である。マルチヘッド注意は、複数の注意機構を並列に実行し、異なる表現部分空間からの情報を統合する。
3.2.2 位置エンコーディング
自己注意機構は系列の順序情報を明示的に持たないため、位置エンコーディングにより各トークンの位置情報を付加する必要がある。正弦波位置エンコーディングは、異なる周波数の正弦波と余弦波を用いて位置を符号化する手法である。学習可能位置エンコーディングは、埋め込みテーブルとして位置ベクトルを学習する手法であり、BERTやGPTなどのモデルで採用された。相対位置エンコーディングは、絶対位置ではなくトークン間の相対的な距離をエンコードする手法であり、Transformer-XLなどで利用される。
3.3 拡散・マスク系列モデル
拡散系列モデルは、データに段階的にノイズを加える拡散過程と、ノイズから元のデータを復元する逆拡散過程から構成される生成モデルである。マスク系列モデルは、入力系列の一部をマスクし、マスクされた部分を予測するタスクで学習する手法である。BERTに代表されるマスク言語モデルは双方向の文脈情報を利用した表現学習を実現する。近年では、拡散モデルを離散系列に適用したD3PM（Discrete Denoising Diffusion Probabilistic Models）、マスクモデルと拡散モデルを統合したMDM（Masked Diffusion Model）などの発展が進んでいる。
4 応用領域
4.1 時系列予測
4.1.1 金融市場
金融時系列予測は、株価、為替レート、商品価格などの将来値を予測する応用である。ボラティリティ予測にはGARCH（Generalized Autoregressive Conditional Heteroscedasticity）モデルが古典的に用いられ、近年ではLSTMやTransformerを用いた深層学習アプローチが普及している。高頻度取引では、ミリ秒単位の価格変動予測にグラフニューラルネットワークを組み合わせた手法も研究されている。
4.1.2 気象・気候
気象予測では、数値天気予報モデルに機械学習を組み合わせたハイブリッド手法が発展している。気温、降水量、風速などの要素予測にLSTMやCNN-LSTMアーキテクチャが用いられ、近年ではグラフニューラルネットワークを用いた気象場の空間依存性モデリングも進展している。気候変動シミュレーションでは、長期的な気候系列の生成に拡散モデルやGANが応用されている。
4.2 自然言語処理
4.2.1 言語モデルとテキスト生成
言語モデルは、単語系列の確率的分布をモデル化する手法である。n-gramモデルからRNN言語モデル、Transformer言語モデルへと進化し、GPT（Generative Pre-trained Transformer）シリーズやBERTなど大規模言語モデルの基盤となっている。テキスト生成では、自己回帰的生成（左から右への逐次生成）が主流であり、ビームサーチやtop-kサンプリング、核サンプリングなどの復号戦略が用いられる。
4.2.2 機械翻訳
機械翻訳は、入力言語の系列を出力言語の系列に変換する系列変換タスクである。Transformerアーキテクチャのエンコーダ-デコーダ構造が標準的であり、自己注意機構により長距離依存関係を効率的にモデル化する。近年では、大規模言語モデルを用いた少数ショット翻訳や、多言語間のゼロショット翻訳も実現されている。
4.3 バイオインフォマティクス
4.3.1 遺伝子配列解析
遺伝子配列解析では、DNAやRNAの塩基配列（A、T、G、C）から遺伝子領域の予測、スプライス部位検出、プロモーター認識などを行う。CNNやLSTMを用いた配列分類、Transformerベースのゲノム言語モデル（DNABERT、Nucleotide Transformerなど）が開発されている。CRISPRのガイドRNA設計にも系列モデリングが応用されている。
4.3.2 タンパク質構造予測
タンパク質のアミノ酸配列から三次元構造を予測する問題は、AlphaFold2の登場により飛躍的に精度が向上した。AlphaFold2は進化的情報を系列アラインメントから抽出し、TransformerベースのEvoformerモジュールで配列間相互作用をモデル化する。ESMFoldなどの単一配列からの予測手法も開発され、大規模プロテオーム解析が可能となっている。
4.4 制御と強化学習
制御理論と強化学習の分野では、系列モデリングがシステムの状態推定やポリシー学習に用いられる。モデルベース強化学習では、環境の遷移モデルを系列モデルとして学習し、計画問題に応用する。模倣学習では、専門家の行動系列をTransformerやRNNでモデル化する手法（Decision Transformerなど）が提案されている。ロボット制御では、センサー時系列からの状態推定や動作生成に状態空間モデルや時系列生成モデルが利用される。
5 課題と最新動向
5.1 長期依存性と勾配消失問題
系列モデリングの基本的課題は、長期にわたる時間的依存関係の学習である。RNNでは勾配消失問題が長期依存性の学習を阻害するが、LSTMやGRU、Transformerの自己注意機構により大幅に改善された。しかし、Transformerは系列長に対して二次の計算コストを持つため、数十万トークン以上の超長系列では依然として課題が残る。Linear TransformerやReformer、Longformerなど長系列に特化した効率的注意機構の研究が進められている。
5.2 計算効率とスケーラビリティ
大規模系列モデルのトレーニングと推論には膨大な計算資源が必要である。Transformerの自己注意機構はO(n²)の時間・空間計算量を持ち、系列長nに対してスケーラビリティの限界がある。これに対し、状態空間モデル（SSM）を活用したMambaアーキテクチャは、O(n)の計算量でTransformerと同等以上の性能を達成し注目を集めている。また、知識蒸留や量子化、プルーニングなどのモデル圧縮技術も実用化が進んでいる。
5.3 不確実性定量化
系列予測における不確実性の適切な定量化は、リスク管理や意思決定において重要である。ベイズニューラルネットワークによる事後分布推定、ドロップアウトを用いたモンテカルロ近似、アンサンブル学習による予測分散の推定などが用いられる。拡散モデルや正規化フローによる確率的生成モデルは、予測分布全体をサンプリング可能な形で表現する。近年では、大規模言語モデルの出力に対するキャリブレーション手法や、信頼区間付き時系列予測手法の研究が活発化している。