1 定義と基本概念
シーケンスデータ（Sequential Data）とは、時間的または論理的な順序を持つデータの集合を指す。データサイエンス、機械学習、バイオインフォマティクスなど多岐にわたる分野で扱われる。その特徴は、各データポイントが独立ではなく、前後の文脈や順序関係に依存することにある。音声、テキスト、ゲノム配列、株価の時系列などが代表例である。解析にはリカレントニューラルネットワークやTransformerなどの特別なモデルが必要となる。
1.1 順序性の意味
シーケンスデータにおける順序性とは、要素の配列が固定された順番で並び、その並び替えがデータの意味や性質を変化させる性質を指す。例えば、単語の並びが異なるだけで文全体の意味が変わる自然言語文や、時間の前後関係が重要な時系列データが典型例である。順序性はデータの解釈や予測モデルの設計において根本的な前提となる。
1.2 依存関係の種類
シーケンスデータ内の要素間には、さまざまな時間的・論理的な依存関係が存在する。これらの依存関係はモデルの性能に大きな影響を与える。
1.2.1 短期依存
短期依存とは、シーケンス内で近接した要素間の関係性を指す。例えば、文中の隣接する単語同士の文法的一致（主語と動詞の一致など）や、音声信号の連続するフレーム間のスペクトル変化が該当する。短期依存は比較的シンプルなモデルでも捉えやすい。
1.2.2 長期依存
長期依存とは、シーケンス内で離れた位置にある要素間に存在する関係性を指す。例えば、長文における文頭の主語と文末の述語の照応関係や、株価時系列における数週間前のイベントの影響などが該当する。長期依存の学習は、勾配消失問題などにより従来のリカレントニューラルネットワークでは困難であり、LSTMやTransformerなどの特殊なアーキテクチャが必要となる。
1.3 ラベル付けの重要性
シーケンスデータの教師あり学習において、ラベル付けはデータの各要素または全体に対して適切な正解情報を付与するプロセスである。時系列予測では将来の値、テキスト解析では品詞や感情、ゲノム解析では遺伝子領域などがラベルとなる。ラベルの品質と粒度はモデルの精度を直接左右するため、注意深い設計が求められる。
2 シーケンスデータの種類
2.1 時系列データ
時系列データは、時間の経過に伴い観測される値の連続を指す。通常、等間隔のタイムステップでサンプリングされる。
2.1.1 金融市場データ
株式価格、為替レート、取引量など、金融市場で生成されるデータ。高頻度取引データから日次データまでさまざまな時間スケールが存在する。ボラティリティクラスタリングやトレンドなどのパターンが特徴であり、予測にはARIMAやLSTMなどが用いられる。
2.1.2 気象観測データ
気温、湿度、気圧、降水量などの気象要素を時間順に記録したデータ。地球規模の気候モデリングから局地的な天気予報まで利用される。季節性や周期性を考慮したモデリングが必要となる。
2.2 テキストデータ
テキストデータは、文字や単語、記号の系列として表現される。
2.2.1 自然言語文
人間の日常言語で書かれた文章。単語の順序が文法と意味を決定する。自然言語処理では、形態素解析、構文解析、意味解析などを経て、機械翻訳やテキスト生成に利用される。
2.2.2 コードの文字列
プログラミング言語のソースコードは、予約語、変数名、演算子などのトークン系列である。コードの構文構造は厳密な順序規則に従い、コンパイルや実行のための解析が行われる。コード生成やバグ検出などにシーケンスモデルが応用される。
2.3 生物学的配列
生命科学において、高分子を構成するモノマーの並び順を表すデータ。
2.3.1 DNA配列
アデニン（A）、シトシン（C）、グアニン（G）、チミン（T）の4種類の塩基が連なった配列。遺伝情報を保持し、突然変異検出や系統解析、遺伝子機能予測などに利用される。
2.3.2 タンパク質配列
20種類のアミノ酸がペプチド結合で連結した配列。タンパク質の立体構造や機能は一次配列に大きく依存する。配列アラインメントや構造予測が主要な解析タスクである。
2.4 イベント系列
特定の事象が発生した時刻とその種類を記録した系列データ。例えば、ユーザーのウェブサイトクリック履歴、センサーネットワークのアラート発生記録、システムログなどが該当する。イベント間の時間間隔や順序パターンが分析対象となる。
3 処理と分析手法
3.1 前処理技術
シーケンスデータの前処理は、モデル入力に適した形式に整形するための重要な工程である。
3.1.1 パディングとトランケーション
異なる長さのシーケンスをバッチ処理する際、すべての系列を同じ長さに揃える操作。パディングは短い系列の末尾に特殊なパディングトークンを追加し、トランケーションは長い系列を一定長で切り捨てる。マスク処理と組み合わせて使用される。
3.1.2 正規化
時系列データなどで、値のスケールを統一する処理。平均0、分散1への標準化や、最小値を0、最大値を1に変換するMin-Max正規化が一般的である。ニューラルネットワークの学習安定化に寄与する。
3.2 モデリングアプローチ
シーケンスデータのパターンを学習するための代表的なモデル。
3.2.1 リカレントニューラルネットワーク
過去の隠れ状態を次のステップに伝播することで系列情報を保持するニューラルネットワーク。
3.2.1.1 LSTM
Long Short-Term Memory。忘却ゲート、入力ゲート、出力ゲートを持つセル構造により、長期依存関係を学習できる。勾配消失問題を緩和し、多くの系列タスクで標準的に用いられる。
3.2.1.2 GRU
Gated Recurrent Unit。LSTMを簡略化し、更新ゲートとリセットゲートの2つで構成される。パラメータ数が少なく、学習が高速である一方、LSTMと同等の性能を示すことが多い。
3.2.2 トランスフォーマーモデル
自己注意機構（Self-Attention）を中心に据えたアーキテクチャ。系列全体の要素間の依存関係を並列的に計算でき、長期依存の捉え方に優れる。位置エンコーディングにより順序情報を付加する。BERTやGPTなど多くの大規模言語モデルの基盤となっている。
3.2.3 隠れマルコフモデル
状態が直接観測できず、観測系列を生成する確率的過程をモデル化する。状態遷移確率と出力確率に基づき、系列のラベリング（品詞タグ付けなど）や生成に利用される。統計的モデルであり、小規模データでも解釈性が高い。
3.3 評価指標
モデルの性能を測るための指標。
3.3.1 パープレキシティ
言語モデルの評価によく用いられる指標。モデルがテスト系列を生成する際の予測の不確かさを表し、値が小さいほど良い。数学的には、確率分布に対する幾何平均の逆数として定義される。
3.3.2 系列間距離
2つの系列の類似度を測る尺度。動的時間伸縮法（DTW）は時系列間の非線形な伸縮を許容する距離であり、編集距離（Levenshtein距離）は文字列間の編集操作回数を数える。クラスタリングや異常検知に利用される。
4 応用例
4.1 音声認識
音響信号をスペクトログラムなどの系列特徴に変換し、リカレントニューラルネットワークやTransformerを用いてテキストに変換する技術。Connectionist Temporal Classification（CTC）やアテンション機構が活用される。
4.2 機械翻訳
原文の単語系列を入力とし、翻訳先の言語の単語系列を出力するタスク。エンコーダ-デコーダモデルが基本であり、Transformerの登場により性能が大幅に向上した。
4.3 需要予測
小売、電力、交通などの分野で、過去の需要データの時系列パターンから将来の需要を予測する。季節性、トレンド、イベント効果などを考慮したモデル（ARIMA、Prophet、LSTMなど）が用いられる。
4.4 ゲノム解析
DNAやタンパク質の配列データから、遺伝子領域の同定、変異の検出、進化的関係の推定などを行う。CNNやTransformerを応用したモデルが配列のパターン認識に利用されている。