1 定義
1.1 確率過程におけるマルコフ性
確率過程 \(\{X_t\}_{t \in T}\) がマルコフ性を有するとは、任意の時刻 \(t\) および任意の将来の状態 \(x\) に対して、現在の状態 \(X_t\) が与えられたとき、過去の状態 \(\{X_s : s < t\}\) と将来の状態 \(X_{t+1}\) が条件付き独立であることをいう。数式で表せば、\(P(X_{t+1} = x_{t+1} \mid X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x_{t+1} \mid X_t = x_t)\) が全ての可能な履歴について成り立つ。この性質は「未来は現在のみに依存し、過去には依存しない」という無記憶性を定式化したものである。
1.2 強マルコフ性
強マルコフ性は、通常のマルコフ性を停止時刻（stopping time）に拡張した概念である。確率過程が強マルコフ性を持つとは、任意の停止時刻 \(\tau\) に対し、\(\tau\) 以降の過程の振る舞いが、\(\tau\) 以前の情報とは独立に、現在の状態 \(X_\tau\) のみに条件付きで決定されることをいう。離散時間マルコフ連鎖や、一定の条件を満たす連続時間マルコフ連鎖は強マルコフ性を持つ。この性質は、再生理論やマルコフ連鎖の長時間挙動の解析において重要な役割を果たす。
1.3 マルコフ性の一般化
1.3.1 高次マルコフ性
高次マルコフ性（k次マルコフ性）とは、未来の状態が直近のk個の状態に依存し、それ以前の履歴には依存しない性質を指す。すなわち、\(P(X_{t+1} \mid X_t, X_{t-1}, \dots, X_0) = P(X_{t+1} \mid X_t, X_{t-1}, \dots, X_{t-k+1})\) が成り立つ。これは通常の（1次）マルコフ性を拡張したもので、時系列データのモデリングにおいて、より長い依存関係を扱うために用いられる。高次マルコフ連鎖は、状態空間を拡大することで1次マルコフ連鎖として表現可能である。
1.3.2 部分マルコフ性
部分マルコフ性（partially Markov property）とは、確率過程の特定の部分集合や特定の時間スケールに関してのみマルコフ性が成り立つ性質を指す。例えば、ある確率過程が特定の遷移時刻においてのみ無記憶性を持つ場合や、観測可能な変数に関してのみマルコフ性が成立する場合などが該当する。この概念は、複雑な実データのモデル化において、厳密なマルコフ性を緩和する手法として利用される。
2 基本概念
2.1 状態空間と遷移確率
状態空間とは、確率過程が取りうる状態の集合であり、離散（可算集合）または連続（ユークリッド空間など）である。マルコフ過程では、状態間の推移を遷移確率（transition probability）によって記述する。離散時間・離散状態の場合は遷移行列 \(P\) を用い、その要素 \(P_{ij} = P(X_{t+1}=j \mid X_t=i)\) が状態 \(i\) から \(j\) への1ステップ遷移確率を表す。連続状態空間の場合は、遷移核（transition kernel）が用いられる。遷移確率は時間的に一定であること（斉時性）が仮定されることが多いが、非斉時的な場合もある。
2.2 チャップマン＝コルモゴロフ方程式
チャップマン＝コルモゴロフ方程式（Chapman–Kolmogorov equation）は、マルコフ過程における多段階遷移確率の整合性条件を与える。離散時間の場合、\(n\) ステップ後の遷移確率行列 \(P^{(n)}\) は \(P^{(n)} = P^n\) と計算され、任意の \(m, n \geq 0\) に対して \(P^{(m+n)} = P^{(m)} P^{(n)}\) が成り立つ。連続時間の場合は、推移半群 \(\{P_t\}_{t\ge 0}\) に対して \(P_{t+s} = P_t P_s\) が成立する。この方程式は、マルコフ過程の遷移確率の一貫性を保証し、過程の長時間挙動の解析に不可欠である。
2.3 定常分布とエルゴード性
2.3.1 詳細釣り合い条件
詳細釣り合い条件（detailed balance condition）とは、マルコフ連鎖が可逆であるための十分条件である。状態 \(i\) から \(j\) への遷移確率 \(P_{ij}\) と定常分布 \(\pi\) の間に \(\pi_i P_{ij} = \pi_j P_{ji}\) が全ての \(i,j\) について成り立つとき、詳細釣り合いが成立するという。この条件を満たすマルコフ連鎖は、時間反転に対して不変であり、定常分布への収束解析が容易になる。マルコフ連鎖モンテカルロ法（MCMC）の代表的手法であるメトロポリス・ヘイスティングス法は、詳細釣り合い条件を満たすように設計されている。
2.3.2 極限分布の存在条件
マルコフ連鎖が極限分布（定常分布）を持つためには、既約性（irreducibility）と非周期性（aperiodicity）が必要である。既約性とは、任意の状態から任意の状態へ有限ステップで到達可能であることを意味する。非周期性とは、状態への回帰時間の最大公約数が1であることである。これらの条件を満たす既約かつ非周期的なマルコフ連鎖は、初期分布によらず定常分布に収束する（エルゴード性）。さらに、正再帰性（positive recurrence）を仮定すれば、極限分布は一意に存在する。
3 代表的な確率過程
3.1 マルコフ連鎖
3.1.1 離散時間マルコフ連鎖
離散時間マルコフ連鎖（DTMC）は、時刻が離散（\(t=0,1,2,\dots\)）であり、状態空間が可算または有限であるマルコフ過程である。各時刻において、現在の状態のみに依存して次の状態が確率的に決定される。遷移確率行列 \(P\) によって完全に特徴づけられ、初期分布 \(\mu_0\) と組み合わせて過程全体の分布が定まる。応用範囲は広く、待ち行列理論、遺伝学、言語モデルなどで利用される。
3.1.2 連続時間マルコフ連鎖
連続時間マルコフ連鎖（CTMC）は、時刻が連続であり、状態が離散的なマルコフ過程である。状態間の遷移は指数分布に従う待ち時間の後に行われ、遷移率行列 \(Q\)（generator行列）によって記述される。\(Q\) の非対角成分 \(q_{ij}\) は状態 \(i\) から \(j\) への遷移率を表し、対角成分は \(q_{ii} = -\sum_{j\neq i} q_{ij}\) である。CTMCは出生死滅過程、信頼性工学、化学反応速度論などに応用される。
3.2 マルコフ決定過程
マルコフ決定過程（MDP）は、マルコフ性を持つ環境下でエージェントが意思決定を行うための枠組みである。状態空間 \(S\)、行動空間 \(A\)、遷移確率 \(P(s' \mid s, a)\)、報酬関数 \(R(s, a)\)、割引率 \(\gamma\) から構成される。エージェントは方策（policy）\(\pi(a \mid s)\) に従い、累積報酬の期待値を最大化するように行動する。MDPは強化学習の基盤であり、動的計画法（価値反復、方策反復）によって最適方策が求められる。
3.3 隠れマルコフモデル
3.3.1 評価問題
隠れマルコフモデル（HMM）は、観測不可能な隠れ状態系列がマルコフ連鎖に従い、各状態から観測値が確率的に生成されるモデルである。評価問題（evaluation problem）は、与えられた観測系列 \(O = (o_1, o_2, \dots, o_T)\) が、あるHMMパラメータ \(\lambda = (A, B, \pi)\) から生成される確率 \(P(O \mid \lambda)\) を計算する問題である。この計算には前向きアルゴリズム（Forward algorithm）が用いられ、動的計画法により効率的に計算される。
3.3.2 復号問題
復号問題（decoding problem）は、観測系列 \(O\) が与えられたとき、最も確からしい隠れ状態系列 \(Q^* = (q_1, q_2, \dots, q_T)\) を求める問題である。ビタビアルゴリズム（Viterbi algorithm）が標準的な解法であり、動的計画法によって最大事後確率の状態系列を効率的に見つける。この問題は音声認識、遺伝子配列解析などで重要な役割を果たす。
3.3.3 学習問題（Baum-Welchアルゴリズム）
学習問題（learning problem）は、観測系列 \(O\) のみが与えられたときに、HMMのパラメータ \(\lambda = (A, B, \pi)\) を最尤推定する問題である。Baum-Welchアルゴリズムは期待値最大化（EM）アルゴリズムの一種であり、前向き・後ろ向き確率を用いてパラメータを反復的に更新する。このアルゴリズムは、音声認識、バイオインフォマティクスなどHMMの実用的な学習に広く利用されている。
4 応用例
4.1 自然言語処理
マルコフ性は自然言語処理において広く応用される。例えば、\(n\)-gram言語モデルは、単語列を高次マルコフ連鎖とみなし、次の単語の出現確率を直前の\(n-1\)個の単語に依存して推定する。また、隠れマルコフモデルは品詞タグ付けや音声認識において、観測される音声信号から隠れた品詞系列や音素系列を推定するために用いられる。
4.2 計算機科学
4.2.1 ページランクアルゴリズム
PageRankは、Googleが開発したウェブページの重要度評価アルゴリズムであり、マルコフ連鎖の定常分布を利用する。ウェブ上のリンク構造を遷移確率行列とみなし、ランダムサーファーモデル（一定確率でランダムにジャンプする）を仮定することで、全てのページの定常確率（PageRankスコア）を計算する。これは既約かつ非周期的なマルコフ連鎖の定常分布の計算問題に帰着される。
4.2.2 強化学習
強化学習では、環境がマルコフ決定過程（MDP）としてモデル化されることが多い。エージェントは状態遷移と報酬の情報から、最適な行動方策を学習する。代表的なアルゴリズムであるQ学習やSARSAは、マルコフ性を前提として価値関数を動的計画法的に更新する。近年の深層強化学習（DQNなど）も、このMDPの枠組みを拡張したものである。
4.3 物理学
4.3.1 ブラウン運動
ブラウン運動は、微粒子が液体中で不規則に動く現象であり、連続時間・連続状態のマルコフ過程としてモデル化される。アインシュタインの理論では、ブラウン運動の変位はウィーナー過程（マルコフ過程の一種）に従い、その拡散係数は温度と媒質の粘性に依存する。ブラウン運動は確率微分方程式の基礎となり、統計物理学や金融工学にも応用されている。
4.3.2 統計力学
統計力学では、マルコフ連鎖モンテカルロ法（MCMC）を用いて、ギブス分布に従う平衡状態のサンプリングを行う。特に、メトロポリス法やスワップモンテカルロ法は、詳細釣り合い条件を満たすマルコフ連鎖を構築し、大規模なスピン系（イジングモデルなど）の熱力学的性質を数値計算するために不可欠である。
4.4 金融工学
金融工学において、株価や為替レートなどの資産価格の変動は、マルコフ過程でモデル化されることが多い。例えば、幾何ブラウン運動（GBM）は連続時間マルコフ過程であり、ブラック・ショールズモデルの基礎となっている。また、金利モデル（CIRモデル、HJMモデル）や信用リスクモデル（遷移確率行列を用いた格付け遷移モデル）もマルコフ性を利用する。
4.5 生物情報学
生物情報学では、隠れマルコフモデル（HMM）が遺伝子配列解析、タンパク質ドメイン予測、相同性検索などに広く用いられる。例えば、CpGアイランドの検出や遺伝子構造予測において、HMMは観測された塩基配列から隠れた状態（エクソン・イントロンなど）を推定する。また、マルコフ連鎖モンテカルロ法は、系統樹推定やベイズ統計に基づく進化モデルのパラメータ推定に利用される。
5 関連概念
5.1 ベイジアンネットワークとの関係
ベイジアンネットワークは、変数間の条件付き独立性を有向非循環グラフ（DAG）で表現する確率モデルである。マルコフ性は、グラフ上の各ノードが、その親ノードが与えられたとき、非子孫ノードから独立であるという局所マルコフ性（local Markov property）として一般化される。特に、時系列データを扱う動的ベイジアンネットワーク（DBN）は、マルコフ連鎖をグラフィカルモデルの枠組みで拡張したものと解釈できる。
5.2 マルコフ連鎖モンテカルロ法
マルコフ連鎖モンテカルロ法（MCMC）は、目標分布（多くの場合ベイズ事後分布）からのサンプリングを、マルコフ連鎖の定常分布として実現する計算手法である。代表的なアルゴリズムとしてメトロポリス・ヘイスティングス法とギブスサンプリングがある。MCMCは統計学、機械学習、物理学などで広く応用され、複雑な確率モデルの推論に不可欠なツールである。その理論的正当性は、マルコフ連鎖のエルゴード性と詳細釣り合い条件に依存する。
5.3 条件付き独立性
条件付き独立性（conditional independence）は、マルコフ性の本質をなす確率論的概念である。確率変数 \(X\) と \(Y\) が \(Z\) を与えられたとき条件付き独立とは、\(P(X,Y \mid Z) = P(X \mid Z) P(Y \mid Z)\) が成り立つことをいう。マルコフ性は「未来と過去が、現在を与えられたとき条件付き独立である」と表現できる。この観点は、グラフィカルモデルや因果推論の理論において統一的な枠組みを提供する。