1 基本概念
马尔可夫链是一类用于描述随机系统随时间演化的数学模型。它以“当前状态决定未来”的思想为核心，用状态及其转移关系来刻画随机过程的动态变化。在许多问题中，马尔可夫链并不要求精确预测每一步的结果，而是着重研究状态之间的概率性流动规律。
1.1 随机过程与状态空间
随机过程是指按时间或其他参数变化的一族随机变量。对于马尔可夫链而言，这些随机变量表示系统在不同时刻所处的状态。状态空间则是所有可能状态的集合，可以是有限的，也可以是可数或更一般的无限集合。
状态空间的选取直接决定模型的表达能力。例如，天气模型中的状态可以简单地设为“晴、阴、雨”，而更精细的模型则可能引入温度、湿度等更复杂的状态变量。状态空间越大，模型通常越接近现实，但分析也会更复杂。
1.2 马尔可夫性质
马尔可夫性质是马尔可夫链的定义性特征，通常表述为：在给定当前状态的条件下，未来的演化与过去历史无关。也就是说，系统对未来的影响被当前状态“概括”了，早期信息不再额外提供预测价值。
这一性质使马尔可夫链具有较强的简化能力。许多看似依赖完整历史的现象，只要能通过适当方式编码为当前状态，就可以纳入马尔可夫框架中加以处理。
1.3 状态转移与转移概率
状态转移是指系统从一个状态移动到另一个状态的过程。每次转移并不确定，而是以一定概率发生，因此转移概率成为描述模型的核心参数。若从状态 i 转移到状态 j 的概率记为 P(i,j)，则它表示系统在下一时刻进入 j 的可能性。
转移概率通常满足非负性以及行和为 1 的条件。这意味着从某一状态出发，系统下一步必然会进入某个允许的状态，只是具体落入哪个状态具有随机性。
1.4 初始分布与演化过程
初始分布描述系统在起始时刻处于各个状态的概率。它决定了链的出发点，进而影响后续多个时刻的分布。即便转移机制完全相同，不同的初始分布也可能导致不同的短期行为。
随着时间推进，系统的状态分布会在转移规则作用下逐步演化。研究这种演化过程，既可以关注某一步的分布，也可以分析长期趋势，例如是否趋于稳定、是否对初始状态逐渐“遗忘”等。
2 分类与基本类型
马尔可夫链可按时间参数、状态空间规模及连续性等维度进行分类。不同类型在数学处理方式和应用场景上各有特点，但都保留了马尔可夫性质这一基本结构。
2.1 离散时间马尔可夫链
离散时间马尔可夫链是最常见的类型，系统只在整数时刻发生状态更新。每一步的转移都由固定的概率规则决定，便于用矩阵和递推关系加以分析。
这种模型常用于表示逐步变化的过程，如天气日历、棋盘移动、网站访问路径等。由于时间刻度清晰，它也常成为概率论课程中的基础模型。
2.2 连续时间马尔可夫链
连续时间马尔可夫链允许状态在任意时刻发生变化，而不是只在离散时刻更新。其演化通常由速率参数而非简单的步转移概率来描述，因此更适合刻画“等待一段随机时间后再跳转”的系统。
这类模型常见于排队系统、化学反应和可靠性分析中。与离散时间模型相比，它在形式上更灵活，但理论推导也往往更复杂。
2.3 有限状态马尔可夫链
有限状态马尔可夫链的状态空间包含有限个元素。由于规模有限，很多性质可以通过矩阵计算直接得到，例如稳态分布、吸收概率和平均首次到达时间等。
有限状态模型在实际中用途广泛，因为它易于实现、便于数值求解，并且常能用少量状态概括系统的主要行为。
2.4 可数状态与无限状态马尔可夫链
当状态空间为可数无穷或更一般的无限集合时，马尔可夫链的行为会更为丰富。此时，系统可能出现更复杂的返性、漂移和极限特征，分析上也需要更细致的工具。
这类模型常用于描述队列长度、库存水平、随机网络中的负载变化等问题。尽管状态更多，但它们能够更真实地表达长期演化中的细微差异。
3 转移机制
马尔可夫链的本质在于转移机制。通过明确各状态之间如何跳转，可以将随机演化转化为可计算、可比较的数学结构。
3.1 转移矩阵
转移矩阵是离散时间马尔可夫链的核心表示方式。矩阵中的每个元素对应一个状态到另一个状态的一步转移概率。借助矩阵乘法，可以系统地研究多步演化。
如果状态数有限，转移矩阵还是分析稳定性与长期分布的重要工具。它把复杂的随机过程压缩成一种清晰的代数对象，便于计算和证明。
3.2 n步转移概率
n步转移概率表示系统经过 n 次转移后从某一状态到另一状态的概率。它反映了链在较长时间尺度上的行为，通常通过转移矩阵的幂来求得。
研究 n步转移概率有助于回答“经过若干步后系统可能在哪里”这一类问题，也为讨论收敛速度和长期稳定性提供了基础。
3.3 状态图与转移图示
状态图是用图论语言表示马尔可夫链的一种方式。图中的节点代表状态，边则表示可能的转移及其概率。通过图示，可以直观地看出哪些状态彼此连通、哪些状态难以到达，以及是否存在吸收状态。
这种表示方式尤其适合用于解释模型结构。对于初学者而言，图示往往比纯代数表达更容易把握系统的整体动态。
3.4 随机游走模型
随机游走是马尔可夫链的经典实例，指系统在离散空间中按随机规则逐步移动。最简单的情形是在线段、整数轴或网格上左右随机行走。
随机游走既是重要的理论模型，也是许多复杂现象的基础近似。它与扩散、搜索、噪声传播等现象有密切联系，因此在数学和物理中都十分常见。
4 重要性质
马尔可夫链的研究很大一部分集中在结构性质上。这些性质决定了链是否容易分析、是否会稳定下来，以及长期是否具有统一行为。
4.1 不可约性
不可约性指的是任意两个状态之间都存在某种路径可以相互到达，至少在概率意义上具备连通性。若链不可约，说明整个状态空间在结构上是“连成一体”的。
这一性质十分关键，因为它保证系统不会被分割成彼此独立的小部分。很多长期性质只有在不可约条件下才更容易成立。
4.2 周期性
周期性描述状态返回自身的时间间隔是否带有固定节律。若某状态只能在若干固定步数的倍数时返回，则称其具有周期。周期过强时，链的分布可能出现振荡而不是平稳逼近。
在实际分析中，周期性常与收敛性联系紧密。若系统存在较强周期，长期行为可能不会直接趋于某一稳定分布。
4.3 返性与瞬时性
返性表示系统在某个状态上会否以概率 1 反复回到该状态；瞬时性则表示返回该状态的概率小于 1，存在“离开后不再回来”的可能。二者是描述状态长期命运的重要概念。
返性与瞬时性的区分对于理解随机游走尤其重要。某些一维随机游走具有返性，而更高维情形可能表现出瞬时性，这反映了空间结构对随机行为的影响。
4.4 遍历性
遍历性通常用于描述马尔可夫链是否能够在长期内充分访问其状态空间，并使时间平均与分布平均建立联系。具备遍历性的链往往具有较好的长期稳定结构。
在很多应用中，遍历性意味着系统不会长期困在局部区域，而会以某种规律覆盖整体状态空间。这也是稳态分析能够成立的重要前提之一。
4.5 吸收态与吸收链
吸收态是指一旦进入就不会再离开的状态。含有吸收态的马尔可夫链被称为吸收链，这类模型常用于表示“终止”“破产”“完成”等不可逆过程。
吸收链的研究重点通常是到达吸收态的概率、平均吸收时间以及在吸收前的过渡行为。它在博弈和决策分析中尤其常见。
5 稳态与长期行为
马尔可夫链的重要价值之一，在于它能够揭示系统经过足够长时间后的整体趋势。稳态与长期行为分析正是这一方面的核心内容。
5.1 平稳分布
平稳分布是指在转移作用下保持不变的概率分布。若系统当前服从该分布，那么经过一次或多次演化后，其分布仍然相同。它反映了链的长期均衡状态。
平稳分布不一定存在，也不一定唯一。对于许多有限不可约链，它通常可以通过求解线性方程组获得，并在长期行为分析中发挥关键作用。
5.2 极限定理
极限定理研究的是，当时间趋于无穷大时，系统状态分布或时间平均的极限行为。对某些马尔可夫链而言，初始条件的影响会逐渐消失，系统分布收敛到某个稳定形式。
这类结果为随机系统提供了长期预测能力。虽然单次轨迹仍然随机，但整体统计特征可能趋向确定。
5.3 收敛速度
收敛速度刻画分布接近平稳状态的快慢。不同链的收敛快慢差别很大，受不可约性、周期性、状态空间结构和转移概率等多种因素影响。
在算法和计算应用中，收敛速度尤其重要，因为它决定了用模拟方法逼近长期分布所需的时间成本。收敛过慢会显著增加计算代价。
5.4 平衡方程
平衡方程是描述稳态分布的基本关系式。它要求一个状态在长期中“流入概率”与“流出概率”达到平衡，从而维持分布不变。
在有限状态情形下，平衡方程常与归一化条件一起使用，构成求解稳态分布的标准方法。它也是理解长期均衡的直观基础。
6 经典理论工具
马尔可夫链理论中形成了一套成熟的分析工具。这些工具既用于证明基本性质，也用于解决实际模型中的概率计算问题。
6.1 Chapman-Kolmogorov方程
Chapman-Kolmogorov方程描述了多步转移概率与中间状态转移概率之间的分解关系。它表明，跨越多步的转移可以通过对中间时刻进行求和或积分来获得。
这一方程是马尔可夫链的基础恒等式之一，广泛用于推导 n步转移概率和分析连续时间过程。它体现了“分段拼接”的思想。
6.2 首达时间与首次通过问题
首达时间指系统第一次到达某个状态所需的时间；首次通过问题则更强调第一次“穿过”某个区域或进入某类状态的时刻。它们是研究到达风险和等待时间的重要指标。
这类问题在金融、排队和可靠性分析中都很常见。通过首达时间，可以量化“多久会遇到目标事件”这一类随机等待问题。
6.3 停时
停时是指其取值只依赖于到当前时刻为止的信息，而不依赖未来的随机变量。它是随机过程理论中非常重要的概念，在马尔可夫链中常用于刻画到达、终止或观察时刻。
许多经典结论都与停时有关，例如利用停时分析首达问题或证明某些期望关系。它为随机系统提供了严格的“可观察时刻”框架。
6.4 生灭过程
生灭过程是一类特殊的马尔可夫链，状态通常按整数层级排列，转移只允许向上“生”或向下“灭”一步。它常用于描述人口变化、队列长度和设备故障等过程。
由于结构规则明确，生灭过程往往可以得到较为整齐的解析结果。它是研究无限状态链时非常经典的模型之一。
7 典型模型
在具体应用中，马尔可夫链常以若干典型模型出现。这些模型虽然简单，却能够概括许多现实系统的核心随机机制。
7.1 赌场输赢模型
赌场输赢模型常用来表示赌徒在重复下注中的资本变化。每一轮赢或输会使资本增加或减少，从而形成一个随时间演化的状态链。
该模型常被用来研究破产概率、预期存活时间以及策略对结果的影响。它也因直观易懂，成为理解吸收链和随机游走的经典例子。
7.2 天气状态模型
天气状态模型将天气离散化为若干状态，例如晴天、多云、降雨等，并用转移概率表示天气在不同天之间的变化趋势。尽管简单，但它能较好反映短期天气的连续性特征。
这类模型体现了马尔可夫链对“当前天气影响明天”的刻画能力。它常作为入门示例，也可扩展到更复杂的气象状态系统。
7.3 页面排名模型
页面排名模型利用网络中页面之间的链接关系构造随机游走过程。系统可以看作一个“随机浏览者”沿链接跳转，页面的重要性则与被访问的长期概率相关。
这一思想使得网络结构可以被转化为马尔可夫链分析问题。其核心在于通过稳态分布来反映节点的重要程度。
7.4 随机游走与布朗运动近似
随机游走在适当缩放后，可以近似连续空间中的布朗运动。前者是离散步进模型，后者是连续时间连续状态的随机运动，两者在极限意义上存在深刻联系。
这种近似连接了离散概率模型与连续随机分析，也说明马尔可夫链在高层理论中的基础地位。许多扩散现象都可由此获得解释。
8 应用领域
马尔可夫链的应用横跨自然科学、工程技术和计算领域。它的优势在于能用相对简洁的概率结构描述复杂系统的随机演化。
8.1 统计物理
在统计物理中，马尔可夫链常用于模拟粒子系统的状态变化、能量跃迁和热平衡过程。借助随机转移，可以研究系统如何走向平衡态。
它也常作为蒙特卡罗方法的理论基础之一，用于构造符合目标分布的随机采样过程。
8.2 排队论
排队论研究顾客到达、等待和服务完成的随机系统。马尔可夫链可用于描述队列长度、服务状态以及系统拥塞的动态变化。
这类模型在通信网络、呼叫中心和制造系统中很常见。通过它可以分析等待时间、排队长度和系统容量需求。
8.3 金融数学
在金融数学中，马尔可夫链可用于描述资产价格的离散状态变化、信用评级迁移和市场状态切换。它适合表示某些具有阶段性和随机转移特征的现象。
虽然实际金融市场往往更复杂，但马尔可夫链为风险分析、状态分类和情景模拟提供了基础框架。
8.4 计算机科学
计算机科学中广泛使用马尔可夫链来处理排序、搜索、随机生成和语言建模等问题。其随机转移结构与许多算法过程天然契合。
8.4.1 搜索引擎排序
搜索引擎排序常借助链接结构和随机游走思想评估网页重要性。通过构建状态转移模型，可以把“访问概率”解释为页面的相对权重。
这类方法能够在大规模网络中提取结构信息，因此在网页排名和推荐系统中具有代表性。
8.4.2 随机算法
随机算法常利用随机转移来避免陷入局部最优或提高平均效率。马尔可夫链为分析这类算法的收敛性、混合速度和采样效果提供了工具。
在一些复杂搜索与优化任务中，适度的随机性往往比完全确定性的策略更具鲁棒性。
8.4.3 文本与语言模型
文本与语言模型中，词语或字符序列可以按状态转移来建模。简单模型会根据前一词预测下一词，而更复杂的模型则会引入更长上下文或隐状态。
这类方法在自动文本生成、拼写纠错和语音处理等方向都有应用，也是自然语言处理中早期而经典的概率建模方式。
8.5 生物信息学
在生物信息学中，马尔可夫链可用于序列分析、基因状态变化和进化过程建模。它能够将复杂的生物序列转化为可计算的概率结构。
在某些情况下，链模型还能帮助识别模式、估计转移偏好或分析长期演化趋势。
9 相关扩展
马尔可夫链只是更广义随机过程理论中的一个重要分支。围绕它发展出的若干扩展模型，进一步增强了对现实系统的描述能力。
9.1 马尔可夫过程
马尔可夫过程是马尔可夫链的连续化推广，通常用于时间连续变化的随机系统。它保留了无记忆性，但允许状态在任意时刻演化。
这一定义使其能够覆盖更丰富的物理和工程现象，并与随机微分方程等理论建立联系。
9.2 马尔可夫决策过程
马尔可夫决策过程在马尔可夫链基础上加入了“动作”和“奖励”机制，用于描述在随机环境下的序贯决策问题。它不仅关注状态如何转移，也关注决策如何影响结果。
这一模型是强化学习和最优控制的重要数学基础，适合分析长期收益与策略选择。
9.3 隐马尔可夫模型
隐马尔可夫模型假设系统的真实状态不可直接观察，只能看到由隐状态生成的观测结果。它在结构上包含隐藏的马尔可夫链和观测概率两部分。
该模型常用于语音识别、序列标注和生物序列分析，是处理“看不见内部状态”的经典方法。
9.4 可逆马尔可夫链
可逆马尔可夫链是一类满足时间反演平衡关系的链。若系统处于平稳状态，前向转移与反向转移在统计上表现出对称性。
这种性质使其在统计物理和随机模拟中尤为重要，因为它常与平衡态采样和构造高效算法有关。
10 历史与发展
马尔可夫链理论经历了从基础概率研究到广泛应用的长期发展。其历史既包含严格数学形式的建立，也包含跨学科扩展的过程。
10.1 亚历山大·马尔可夫的研究
亚历山大·马尔可夫在研究随机序列时提出了后来被称为马尔可夫性质的思想。他最初关注的是相邻事件之间的依赖关系，并由此推动了对随机过程结构的形式化理解。
他的工作不仅在理论上具有开创意义，也为后来的概率论发展提供了重要出发点。
10.2 理论完善与推广
在马尔可夫早期工作的基础上，后续数学家不断完善了马尔可夫链的理论体系，包括不可约性、返性、平稳分布和遍历性等核心概念。相关理论逐步从离散有限模型扩展到连续时间和无限状态情形。
随着研究深入，马尔可夫链与泛函分析、测度论、图论和统计推断等领域发生了广泛交叉，形成了更成熟的现代框架。
10.3 现代应用与数值方法
进入现代以后，马尔可夫链成为计算模拟与大规模随机建模的重要工具。特别是在高维系统中，直接解析往往困难，而基于马尔可夫链的数值方法则能提供可操作的近似方案。
与此同时，随着计算能力提升，马尔可夫链蒙特卡罗方法、随机采样和链式推断技术得到了广泛发展，使这一理论在科学计算和数据分析中持续发挥作用。