マルコフ連鎖 - Ciallo Wiki

1 マルコフ連鎖の基本

マルコフ連鎖は、時点 \(t\) における状態 \(X_t\) が、過去の全履歴ではなく直前の状態 \(X_{t-1}\) によって確率的に決まるという条件付き独立性を仮定する。再帰的な記述は、ある状態 \(i\) にいるとき次に状態 \(j\) へ移る確率 \(P(X_t=j\mid X_{t-1}=i)\) を用いて表される。これにより、過去全体の条件付けを毎回行う必要がなくなり、計算や推論の形が単純化する。

1.1.2 「直前のみで決まる」仮定の意味

「直前のみで決まる」という仮定は、予測の情報源を圧縮するモデル化だと捉えられる。実データでは本質的な因果の遅れや潜在変数の影響が残ることもあるため、マルコフ性はしばしば近似として使われる。とはいえ、状態設計（状態空間を適切に定義すること）により、観測可能な情報で過去を要約できるなら、結果として有効な記述になる。

1.2 状態と時間の概念

1.2.1 状態空間（離散・有限など）

状態は、変数がとりうる区分の単位として定義される。最も扱いやすいのは離散の状態空間で、状態集合が有限あるいは可算個として与えられる場合が多い。離散でない状態（連続空間）も理論化されており、確率密度や測度論の枠組みで拡張されるが、基本の考え方は「状態に基づく遷移確率を与える」点に共通する。

1.2.2 時間パラメータ（離散時間）

離散時間マルコフ連鎖では、時点が \(t=0,1,2,\dots\) のように数えられる形で並ぶ。遷移確率は原則として各ステップで同様のルールで適用される（同質な場合）か、時点ごとに異なる（非同質な場合）かに分かれる。時間を離散化する操作は、観測頻度を揃える、意思決定を段階化する、といった実務の都合とも整合しやすい。

1.3 状態遷移の確率

1.3.1 状態遷移行列

離散状態の同質マルコフ連鎖では、状態遷移確率を行列でまとめられる。状態集合を \(1,\dots,m\) とすると、遷移行列 \(P\) は \(P_{ij}=P(X_{t}=j\mid X_{t-1}=i)\) として定義され、各行の合計が 1 になる確率行列となる。行列の積として次の時刻の分布が表せるため、計算上の利点が大きい。

1.3.2 n ステップ遷移確率

次の時刻からさらに \(n\) ステップ後へ進む確率は、1 ステップ遷移の繰り返しとして表現できる。具体的には \(n\) ステップ遷移行列 \(P^{(n)}\) の要素 \(P^{(n)}_{ij}=P(X_{t+n}=j\mid X_t=i)\) が対応する。行列の累乗として計算できるため、長い予測窓に対する到達確率などが整理される。

2 モデルの分類と代表例

2.1 同質なマルコフ連鎖

2.1.1 遷移行列が時間によらない場合

同質（時不変）とは、1 ステップ遷移の確率が時刻に依存しない性質を指す。つまり \(P(X_{t}=j\mid X_{t-1}=i)\) が \(t\) によらず固定である。現象の時間スケールが十分に安定しているとみなせる状況では、同質モデルは自然な第一近似となる。数学的にも解析が進みやすく、定常挙動や固有構造の議論が可能になる。

2.2 非同質なマルコフ連鎖

2.2.1 時刻で変わる遷移確率

非同質では遷移確率が時刻によって変化する。例えば季節性、政策変更、環境の段階的な変化などにより遷移の性格が変わる場合が該当する。遷移行列が \(t\) ごとに変わるため、複数ステップ先の確率は行列の順序付き積として表される。解析は同質の場合より複雑になりやすいが、推定や現実適用では現実味のある設定である。

2.3 吸収状態とカノニカルな例

2.3.1 死亡・成功などの吸収モデル

吸収状態とは、一度入るとそこから出ることがない状態のことを指す。代表例として、死亡や成功のように完了後は状態が固定される状況がある。数学的には、吸収状態 \(a\) に対して \(P_{aa}=1\) が成立し、他状態へ遷移する確率は 0 になる。吸収を含む鎖では、最終的にどの吸収状態に行き着くか、また到達までの期待時間などが主要な関心となる。

2.4 周期性をもつモデル

2.4.1 2周期などの例と直感

周期性は、ある状態に戻るタイミングが特定の歩幅に制約される性質として理解できる。例えば 2 周期の状況では、ある状態から同じ状態へ戻るのは奇数ステップでは起こらず偶数ステップでのみ可能になることがある。直感的には状態が「交互に切り替わる」ような構造を持つ場合に現れる。周期があると長期の分布が完全にはなめらかに収束せず、特定の時刻の偶奇で傾向が変わることがある。

3 解析の中心概念

3.1 到達可能性と到達確率

3.1.1 状態の到達グラフ的な見方

到達可能性は、遷移の「可能な経路」に注目して整理できる。状態を頂点、遷移可能性を辺として考えると、ある状態 \(j\) が状態 \(i\) から有限ステップで到達できるかどうかは、グラフ上の到達性に対応する。到達確率は確率的な経路の厚みを反映し、単に経路が存在するだけでは不十分で、実際にその経路へ乗る確率も含めて評価する。

3.2 分類（既約・可逆など）

3.2.1 既約性

既約性は、鎖が「分解できない」ことを意味する。ある状態から別の状態へ到達できる可能性が相互に成立し、結果として到達可能な範囲が閉じているとき、その集合は既約な構造を持つ。直観的には、外へ出られないコミュニティや、どこにいても他へ橋渡しができる集団のように捉えられる。既約性が成り立つと、長期の挙動を比較的統一的に論じやすい。

3.2.2 推移的な構造（閉じた集合）

推移的（transient）な状態とは、ある時点以降に再訪する確率が 1 にならない状態として定義されることが多い。これに対し、再訪が必ず起きる方向の構造は「閉じた集合」と結びつく。閉じた集合は、そこから外へは遷移しないような状態群として理解でき、吸収的な振る舞いがこの概念に含まれる。こうした分解は、複雑なモデルを複数の振る舞い領域へ整理するための基本ツールとなる。

3.3 定常分布（定常状態）

3.3.1 定常性の定義

定常分布とは、時間が進んでも状態の分布が変わらない確率分布である。分布ベクトル \(\pi\) があり、遷移行列 \(P\) に対して \(\pi=\pi P\) を満たすとき、\(\pi\) が定常である。これは「1 ステップ更新しても分布の形が同じ」という固定点条件として表現できる。

3.3.2 定常分布の存在と一意性の条件

定常分布の存在や一意性は、鎖の構造（特に既約性や周期性）に強く依存する。同質で有限状態の場合には一般に存在が扱いやすく、加えて既約かつ適切な周期条件を満たすと一意性や収束が期待できる。非有限・非既約の設定では、定常分布の数が複数になり得たり、収束先が初期状態の取り方に左右されたりするため、条件の確認が重要になる。

3.4 極限挙動（長期の振る舞い）

3.4.1 初期分布の影響

長期では、初期状態の選び方がどれほど残るかが焦点となる。十分な条件が満たされれば、時刻 \(t\) が大きくなるにつれて分布が定常分布へ近づき、初期の違いは薄れていく。逆に周期性がある場合や、鎖が分解可能な場合には、初期条件が残響のように影響し続け、時刻に応じて分布の偏りが変わることがある。

3.4.2 混合・収束の直感

収束は「どれだけ速く混ざるか」という観点でも捉えられる。混合が速いとは、異なる初期状態から出発しても短い時間で分布が似通うことを意味する。実務では、どの時点から推定やシミュレーションの結果が安定してよいかを判断するために、この直感が重要になる。数学的には、スペクトル的な量や距離尺度を用いて収束速度を議論する枠組みが発展している。

4 推定・計算・応用の考え方

4.1 遷移確率の推定

4.1.1 観測データからの頻度推定

遷移確率の推定は、観測された遷移回数を基に行うことが多い。離散状態で、時刻 \(t\to t+1\) の組がデータとして与えられるなら、状態 \(i\) から状態 \(j\) へ移った回数を、状態 \(i\) から出た総回数で割ることで推定量が得られる。頻度に基づく推定は直感的で実装もしやすいが、データ不足の状態があると不安定になり得るため、追加の工夫が求められることがある。

4.1.2 最尤推定の考え方

最尤推定は、遷移確率のパラメータを動かしたときに観測データがどれだけ起こりやすいかを最大化する方法である。同質モデルでは、各遷移が独立な確率事象として扱える形になり、対数尤度を状態ごとの集計で整理できる。頻度推定と一致する場合も多いが、正則化や事前分布を導入することで過学習を抑える方向にも拡張できる。

4.2 シミュレーション（モンテカルロ）

4.2.1 誤差とサンプリングの工夫

モンテカルロでは、鎖をランダムに進めて得たサンプルから期待量や確率を推定する。誤差はサンプル数に応じて減少するが、遷移がまれな状態では分散が大きくなりやすい。そこで、重要度サンプリングや分割統治のような工夫により、有効に「知りたい事象」を取り出す設計が行われる。計算コストと精度のバランスが実務上の要点となる。

4.2.2 バーンイン（初期の影響）への配慮

マルコフ連鎖モンテカルロの文脈では、初期状態から定常挙動が安定するまでの区間をバーンインとして扱うことがある。初期の影響が推定量に混ざるとバイアスが生じ得るため、観測する時点を十分に遅らせる、あるいは収束診断を用いて切り替え時刻を判断する。具体的な手法は問題設定によって異なるが、初期依存の制御という観点は共通している。

4.3 応用領域の概要

4.3.1 ランダムウォークと拡散のモデル化

ランダムウォークは、位置が確率的に変化する過程としてマルコフ連鎖の代表的な題材である。格子上を一歩ずつ動く単純なモデルから、ドリフトや反射を含む拡張まで幅がある。連続量を扱う拡散過程へと連なる考え方もあり、物理・金融・生物にわたって現れる「確率の移動」を記述する基礎として位置づけられる。

4.3.2 予測・推薦のための状態遷移

ユーザー行動やアイテム消費の系列を、状態として要約し遷移として表すと、次の行動予測や推薦の枠組みに結びつく。たとえば閲覧や購入の過程を段階化して状態に対応させれば、「直近の行動状態」から次の選択確率が算出できる。厳密な因果を保証するとは限らないが、予測の計算が比較的容易で、更新可能性の面でも運用しやすい。

4.3.3 組合せ最適化の補助的な視点

最適化では探索手順を確率過程として捉えることがあり、マルコフ連鎖はその基礎言語として利用される。局所的な変更を繰り返しながら状態空間を巡る手続きは、ある条件の下で良い解へ向かうことが理論的に示される場合がある。これにより、「解の良さに関する情報」と「探索のランダム性」を同時に扱う整理が可能になる。

4.4 ネットワーク表現としてのマルコフ連鎖

4.4.1 状態遷移をグラフとして扱う

状態遷移は有向グラフとして表現できる。頂点が状態で、辺が遷移の可能性または遷移確率を表す。グラフの連結成分、到達性、閉じた集合といった性質は、抽象的な分解（既約・推移）と対応づけやすい。図示は直感だけでなく、実際の計算方針の選択にも役立つことがある。

4.4.2 行列計算との関係

グラフ表現と行列計算は同じ内容を別の形式で書き換えたものに対応する。隣接行列に確率を重み付けしたものが遷移行列であり、分布の更新はベクトルと行列の積で実行される。さらに複数ステップ先は行列累乗で表され、線形代数的な計算手法が適用できる。大規模問題では疎行列などの工夫が重要になるが、基礎の対応関係は変わらない。