1 自己回帰の概念
1.1 定義と直観
自己回帰とは、時系列や系列信号において「将来の値が過去の値の関数として表される」ことを前提に、観測系列から次の値を予測する枠組みの総称である。過去の情報を手がかりとして未来を組み立てるため、データの時間順序が持つ規則性をモデル化できる点が特徴となる。
直観的には、過去の複数点をまとめて入力とし、現在や直後の出力を推定する考え方である。入力として用いる過去の範囲は有限でよく、必要に応じて長さを調整することでモデルの表現力と計算量を両立させる。
1.2 数式表現
自己回帰は、時間インデックスを用いて記述されることが多い。観測系列を \(y_t\) とし、過去のいくつかの値を \(y_{t-1},y_{t-2},\dots\) のように用いて \(y_t\)（または将来値）を表す。
1.2.1 ラグと次数の考え方
ラグ（遅れ）とは、未来推定において参照する過去の時間差を指す。たとえば、次の値 \(y_{t}\) を作るのに \(y_{t-1}\) を使うならラグは1である。複数のラグを使うと、最も長い遅れにより「次数」が定義される。線形自己回帰では次数 \(p\) が、参照する過去の最大ステップ数に対応し、入力ベクトルは \((y_{t-1},\dots,y_{t-p})\) の形になる。
次数の選択はモデルの性質を左右する。短い次数では系統的な残差が残りやすく、長い次数では推定誤差が増えやすい。したがって、データの性質と汎化性能を見ながら調整することが重要になる。
1.2.2 誤差項（ノイズ）の扱い
現実のデータは外乱や計測誤差を含むため、自己回帰モデルには誤差項を組み込むのが一般的である。典型的には「期待値（平均）を過去から説明し、残りを確率的な誤差として扱う」形式になる。
誤差項の仮定として、平均0、独立性、一定分散（ホモスケダスティシティ）、正規性などが置かれることがある。ただし、実務上はこれらが成り立たない場合も多く、残差の検査や頑健な推定（外れ値耐性）を併用して適合度を確認する。
1.3 自己回帰と関連概念
自己回帰は単独で完結するというより、他の系列解析の考え方と密接に関連する。とくに、移動平均や回帰分析、状態空間の発想とは同じ問題を異なる表現で扱うことが多い。
1.3.1 移動平均との関係
移動平均（MA）は、過去の誤差（ショック）を用いて現在の値を説明する枠組みである。自己回帰（AR）が過去の観測値を説明に使うのに対し、MAは過去の誤差を説明に使う。両者を組み合わせたモデルは、誤差の伝播と観測の慣性の両方を取り込めるため、より柔軟な近似が可能になる。
1.3.2 回帰との違い
「回帰」は統計的に一般的な予測手法であり、説明変数と目的変数の関係を学習する。自己回帰はそのうち、説明変数として時間遅れの目的変数自身を用いる点で特化している。さらに、系列データでは観測点間の相関構造が強く残りやすいため、単純な回帰と比べて「時系列としての依存性」への配慮が不可欠になる。
2 自己回帰モデルの種類
2.1 線形自己回帰モデル（AR）
線形自己回帰モデルは、将来の期待値を過去の線形結合で表す代表的な形式である。ARモデルでは、係数が系列の慣性（寄与の大きさと減衰）を表現する。
2.1.1 パラメータ（係数）の意味
係数は、各ラグが現在値にどれほど寄与するかを定量化する。たとえば、係数が正であればそのラグの増減が現在側に同方向の影響を持つ傾向を示し、負なら逆方向の関係を示す。さらに、係数の組合せによって、系列が一時的に変動したあとに戻る速さや、過去の影響がどの程度まで残るかが変わる。
また、複数の係数を持つ場合には、個々の符号だけでなく、全体としての応答（インパルス応答に相当する挙動）を考える必要がある。単純な直感が当てはまらない状況もあり、推定後の診断が重要になる。
2.1.1.1 順序選択と実装上の注意
次数 \(p\) の選択では、情報量規準（AIC, BICなど）や検定、予測性能に基づく手法が用いられることが多い。過度に大きい次数はパラメータ推定の不安定さを招き、過小な次数は構造を取り逃す。
実装上は、サンプルサイズとのバランス、初期値の扱い(先行観測の欠落がある場合の処理)、標準化の有無、欠損の補完方針などが結果に影響する。さらに、学習時に整合する形で時系列分割を行わないと、誤差評価が過大に見積もられるため、分割の方法が実装の要点となる。
2.2 確率的自己回帰
確率的自己回帰は、観測値の生成過程を確率変数として扱い、条件付き分布（予測分布）を明示する考え方である。多くの場合、平均の構造は自己回帰の形で与え、ばらつきは誤差分布や分散構造によって表される。
2.2.1 局所的ランダム性と予測分布
確率的な定式化では、同じ過去履歴を与えても次の値は確率的に揺らぐ。よって「点予測」だけでなく「どの程度の幅であり得るか」という分布が得られる。これは、予測区間やリスク指標の計算、異常検知の閾値設定などに直結する。
分散が一定である仮定を緩め、条件付き分散を変化させるモデル（例として変動するばらつき）へ拡張すると、局所的な不確実性が表現できる。これにより、平常時と変動が大きい局面を区別した予測が可能になる。
2.3 非線形自己回帰
非線形自己回帰は、過去から現在（または未来）への写像を非線形関数で表す。線形では表現できない複雑な依存（閾値効果、飽和、相互作用、非対称性など）を扱える可能性がある。
2.3.1 決定論的非線形と確率的非線形
決定論的非線形は、同じ履歴なら出力が一意に決まる（あるいはノイズは別に単純化される）設定である。たとえばニューラルネットワークを用いた自己回帰的予測はこの系統に含まれることが多い。
一方、確率的非線形では、出力の分布を直接パラメータ化し、生成の揺らぎを推定に含める。出力分布を扱うことで、多様なサンプルを生成したり、不確実性を区別したりできる。実務では、学習の安定性と分布推定の品質を両立させる設計が課題となる。
3 推定・推論の方法
3.1 係数推定（最小二乗法など）
線形ARモデルでは、最小二乗法がよく用いられる。モデルが誤差の二乗和を最小化する形になると、条件付き平均に対する推定が得られる。実装では、ラグを並べた設計行列を作り、回帰係数を解く手順になる。
確率的定式化では、誤差分布を仮定し最尤推定（maximum likelihood）を行うこともある。計算が重い場合には近似や数値最適化を用いる。さらに外れ値や重い尾（テール）を持つデータでは、頑健回帰（損失関数を変更する）によって推定の安定性が改善する場合がある。
3.2 モデル検証と評価
モデル検証は、推定したモデルが未知データに対してどれほど当たるかを確認する作業である。自己回帰では時間依存があるため、分割方式を誤ると評価が歪む。
3.2.1 予測誤差指標
代表的には、平均二乗誤差（MSE）や平均絶対誤差（MAE）、係数の対数尤度、予測区間の包含率などが利用される。確率的モデルでは、分布の当たり具合を測る指標（負の対数尤度など）が自然に適用される。
複数ステップの予測では、評価の範囲により指標の意味が変わる。近い将来に重点を置くなら1ステップ先中心、長期の見通しなら多段先も含めて評価することで目的に合う判断ができる。
3.2.1.1 学習・検証の切り分け
時系列では、学習データの後に検証データを置く前進型の分割（またはロールフォワード）を行うことが多い。ランダムにサンプルを抜き出すと、過去情報が未来側に漏れる可能性があり、汎化性能が過大評価される。
また、ハイパーパラメータ選択（次数、正則化強度など）と性能評価を同一のデータで行うと楽観的な結果が出やすい。検証用の区間を明確に分け、必要なら交差検証の時系列版を用いることで、判断の信頼性が上がる。
3.3 推定の前提条件と診断
自己回帰モデルの推定には、一定の仮定が暗に含まれることが多い。これが破れると、係数の推定が不適切になったり、信頼区間の解釈が難しくなったりする。そこで残差診断が重要になる。
3.3.1 残差の性質（独立性・分散安定性）
残差は、モデルがどれだけ構造を取り切れているかを示す。独立性が保たれていない場合、残差に未説明の相関が残っており、次数不足やモデル形状の不適合が疑われる。分散安定性が欠ける場合には、誤差の大きさが局面で変わる可能性があり、条件付き分散を考慮する拡張が必要になることがある。
診断には、残差の自己相関、分散の変動、分布の歪みや外れ値、正規性の近似度などを用いる。これらの結果に応じて、モデルの次数変更、非線形成分の追加、頑健推定や分散モデルの導入を検討する。
4 予測と生成への応用
4.1 時系列予測
自己回帰は予測の基盤技術として広く使われる。入力に過去の履歴を用い、必要な未来の時点を推定する。
4.1.1 1ステップ先予測と多ステップ予測
1ステップ先予測は、次の時点を直接推定するため評価しやすい。一方、多ステップ予測は、途中の予測結果を以後の入力にしていく必要があり、誤差が連鎖的に増幅しやすい。したがって、多段先では誤差伝播を抑える戦略が重要になる。
方式として、反復（逐次）予測のほか、未来全体を同時に出す枠組み（直列ではなくベクトルとして推定する）もある。目的と計算資源により選択されるが、自己回帰の発想は逐次予測と相性が良い。
4.2 信号・制御分野での利用
信号処理や制御では、時系列データから状態を推定し、推定値に基づいて操作や復元を行う場面が多い。自己回帰はこの「モデルに基づく推定・予測」の要素として利用される。
4.2.1 スムージングと復元
スムージングは、観測列から雑音の影響を抑えた推定系列を作る考え方である。自己回帰を使うと、過去の構造を手がかりにして推定を滑らかにしやすい。復元では、欠損がある場合や観測がノイズで汚れている場合に、潜在的な系列の補間が可能になる。
制御の文脈では、将来予測を制御入力設計に反映し、遅れのある応答やノイズ環境下での安定性を確保するための手がかりとして扱われる。モデル誤差が大きいと性能が落ちるため、更新頻度やモデル適応の設計が実務上の論点となる。
4.3 自己回帰的生成（逐次予測）
自己回帰は「次を作る」発想として、生成モデルにも転用される。生成では、逐次的にサンプルを取り出し、それを新たな条件として次を生成していく。
4.3.1 確率的サンプリングと温度の考え方
確率的生成では、次の値の分布からサンプルを引く。温度（temperature）は、分布の尖り具合を調整し、多様性と再現性のバランスに影響する。温度が低いとより確率の高い候補に偏り、高いと探索が広がる。
一方で、温度を上げすぎると物理的・統計的に整合しない系列が生じやすくなる。生成の目的（安定な出力か、多様な出力か）に応じて調整が必要となる。
4.3.2 生成の失敗モードと対策
逐次生成では、初期の誤りや外れサンプルが後続に波及し、破綻につながることがある。典型的には、分布の偏りによって意味のないパターンに収束する、あるいは観測の統計的性質から逸脱する、といった失敗が起こり得る。
対策として、確率の正則化、サンプリング戦略の変更、条件付けの強化、早期打ち切りや再生成（リロール）などがある。さらに、生成後の検査（妥当性判定）を設けて不適切な系列を弾く設計も用いられる。
5 留意点と発展的話題
5.1 安定性・定常性の考え方
線形ARモデルには、長期的に振る舞いが発散しないための条件がある。安定性が保たれると、影響が過度に増大せず、統計的に扱いやすい状態になる。定常性は分布が時間に依存しないことを意味し、予測や推定の理論が成立する土台になる。
ただし、現実のデータは厳密な条件から外れていることも多い。そこで、変化点検出やモデル更新によって局所的な安定領域を扱うといった運用が有効になる場合がある。
5.2 過学習と次数のバランス
次数を増やすほど表現力は上がるが、推定の分散も増える。過学習は学習区間では良く見える一方で、未来予測では誤差が増える現象として現れる。自己回帰ではラグ列が説明変数を構成するため、相関が強い場合に係数が不安定化しやすい。
正則化（係数の大きさに罰を与える）や、情報量規準、予測誤差に基づく選択により、バランスを取ることが一般に推奨される。
5.3 欠損データへの対応
時系列で欠損は珍しくなく、自己回帰の入力系列が途切れると学習・予測が難しくなる。単純な補間は有効な場合もあるが、補完が予測の統計性質を歪めると性能が落ちることがある。
対応策として、欠損を含む形で推定できる枠組みを用いる、欠損区間の扱いを工夫して学習データを再構成する、またはモデル側で欠損を考慮した推定（状態空間的な考え）を導入するなどがある。いずれも、欠損機構（ランダムか、系統的か）に注意が必要になる。
5.4 発展：複雑な依存構造への拡張
自己回帰は「過去の値に依存する」という基本に立ちながら、依存の形を拡張してきた。例えば、複数系列を同時に扱う多変量拡張では、相互作用を取り込める。さらに、季節性や周期性の導入によって、繰り返し構造を反映することが可能になる。
非線形や確率的な枠組みを組み合わせることで、より複雑な依存（長期の文脈、条件による分布の変化）を表す方向に発展している。計算効率と解釈可能性、過学習抑制の設計を同時に満たすことが、現代的な応用での中心的な課題となる。