1 基本概念
1.1 马尔可夫链
1.1.1 状态空间
马尔可夫链描述的是一个系统在离散时间点上的状态演化。状态空间可为有限集合，也可扩展到可数或连续的取值集合；在 MCMC 中，状态通常对应待采样的参数向量或其可观测/隐变量的组合。状态空间的选择决定了后续转移机制的形式，以及采样实现时的数值处理方式。
1.1.2 转移概率
转移概率刻画系统从当前状态转移到下一状态的概率。马尔可夫性要求：下一时刻的状态只依赖当前状态，而与更早历史无关。用形式化语言表达，给定当前状态，下一状态的分布由转移核（transition kernel）确定，这也是构造 MCMC 的基础抓手。
1.1.3 平稳分布
平稳分布（或不变分布）是指在应用转移规则后，分布形状保持不变的概率分布。对 MCMC 而言，设计目标是让该平稳分布等于希望得到的目标分布（或与之等价）。当链足够长时间运行后，样本的经验分布会逐步逼近平稳分布。
1.2 蒙特卡洛采样
1.2.1 随机抽样思想
蒙特卡洛采样利用“用随机来替代解析”的思想：当某个积分或期望难以用闭式表达时，可以通过从相关分布中抽取样本，并用样本平均来近似期望值。MCMC 属于蒙特卡洛的一类实现路径，其区别在于样本并非独立同分布，而是来自构造出来的马尔可夫链。
1.2.2 数值近似与估计
若目标是估计期望 \( \mathbb{E}[f(X)] \)，可将其写作对某分布的积分。通过大量样本 \(X_1,\dots,X_n\) 的平均值计算： \[ \mathbb{E}[f(X)] \approx \frac{1}{n}\sum_{i=1}^{n} f(X_i). \] 在马尔可夫链场景下，样本间存在相关性，因此估计误差不仅取决于样本数量，也与链的混合程度、自相关结构等有关。
1.3 MCMC 的定义与作用
1.3.1 目标分布的构造
MCMC 的关键任务是为给定的目标分布构造一条马尔可夫链，使该分布成为其平稳分布。目标分布往往以未归一化形式出现，即只给出与分布成正比的函数。设计转移规则时通常只需要目标函数的相对大小，从而绕开精确计算归一化常数的需求。
1.3.2 迭代采样机制
MCMC 通过迭代产生样本：从初值出发，每一步根据转移规则生成新状态。序列经过足够多迭代后，状态会在目标分布附近波动。实践中常包含过渡阶段（常见称为 burn-in），并在后续阶段收集样本用于估计；同时需要评估链是否已经“混到位”，否则样本分布可能偏离目标。
2 理论基础
2.1 概率论基础
2.1.1 条件概率与联合分布
许多 MCMC 思路利用条件分布来实现迭代更新。联合分布与条件分布之间存在分解关系：例如后验分布可以写成由似然项与先验项组合得到的联合形式，再通过条件化得到易采样的部分。Gibbs 采样等方法的优势通常来自条件分布可直接抽样。
2.1.2 边缘分布与归一化常数
目标分布常以边缘分布形式出现，即对某些变量进行积分或求和得到的结果。该边缘分布可能难以直接归一化。MCMC 通常允许目标只提供未归一化密度 \( \tilde{\pi}(x) \)，并通过转移规则确保平稳分布仍与 \( \pi(x)=\tilde{\pi}(x)/Z \) 一致，其中 \(Z\) 为归一化常数。
2.2 马尔可夫链性质
2.2.1 遍历性
遍历性（与之相关的概念包括遍历与遍历分解）反映链能否在长期运行中充分覆盖状态空间。若链存在“卡住”的区域，则样本可能只反映某一部分而无法代表目标分布。遍历性条件常用于理论保证：随着迭代次数增加，时间平均可收敛到目标的空间平均。
2.2.2 不可约性
不可约性意味着从任意起点出发，经过有限步数有可能到达任意允许区域（在给定的模型条件下）。它排除状态空间被分割成互不连通的子空间的情况，避免出现“多个独立模式但链永远不跳过去”的问题。
2.2.3 非周期性
非周期性排除链在时间上呈现固定周期振荡的情形。若链周期性强，样本在不同迭代奇偶步之间可能在分布上表现出偏差，从而影响收敛速度与估计稳定性。理论上通常需要非周期性与其他条件配合，才能得到更强的收敛结论。
2.3 收敛理论
2.3.1 极限定理
马尔可夫链的极限定理给出时间平均与目标期望的收敛行为。直观上，它说明在满足一定条件时，随迭代步数增长，利用样本平均形成的估计会趋近于目标分布下的真实期望。对于带自相关的样本，还需进一步讨论方差收敛与误差尺度。
2.3.2 平稳收敛
平稳收敛刻画链分布随迭代次数增加向平稳分布靠拢的过程。常见关注的是某种距离度量（如总变差或相对熵等）随时间下降。实践中无法直接计算这些理论距离，通常借助诊断指标与经验评估来判断是否“足够接近”。
3.3.3 误差分析
误差分析通常包含两部分：一是与有限迭代导致的偏差（未达到平稳时的误差）；二是与样本数量有限导致的统计波动。由于样本间相关性存在，误差不再只随 \(1/\sqrt{n}\) 缩放，而需要考虑有效样本量等概念来量化相关性带来的等效损失。
3 经典算法
3.1 Metropolis 算法
3.1.1 接受-拒绝规则
Metropolis 算法通过“提议—接受/拒绝”的方式构造马尔可夫链。给定当前状态 \(x\)，先提出新状态 \(y\)，再依据接受概率决定是否转移到 \(y\)。接受概率通常与目标密度在 \(x\) 与 \(y\) 处的相对大小有关；若拒绝，则状态保持不变。该机制在不依赖归一化常数的情况下实现平稳性。
3.1.2 提议分布设计
提议分布决定候选点从哪里产生。它的形状与步长会显著影响接受率与链的移动幅度：步长过小可能导致移动太慢、相关性强；步长过大则可能接受率过低，出现大量“原地踏步”。因此，提议分布设计与调参在效率上至关重要。
3.2 Metropolis-Hastings 算法
3.2.1 非对称提议机制
Metropolis-Hastings（MH）是 Metropolis 算法的推广，允许提议分布不必对称。非对称提议引入了从 \(x\) 到 \(y\) 与从 \(y\) 到 \(x\) 的不同行为，因此接受概率中需要补偿提议机制的偏差，以保证目标分布仍为平稳分布。
3.2.2 接受率公式
MH 接受概率结合目标密度比值与提议概率的比值。其核心思想是：当候选点对目标更“合意”时提高接受概率；当提议机制本身使得某方向更常发生时，接受概率会相应调整。该公式提供了将各种提议策略纳入同一框架的能力。
3.2.3 特殊情形与退化形式
当提议分布对称时，MH 接受率可简化为 Metropolis 算法常见形式。某些情况下也可能出现退化情形，例如提议分布过于集中或在高维中缺乏有效探索，导致链混合缓慢。此时虽理论正确，但实践表现可能不佳。
3.3 Gibbs 采样
3.3.1 条件分布更新
Gibbs 采样通过逐个（或分组）变量从其条件分布中生成新值。其前提是：给定其他变量时，某个变量的条件分布可以直接抽样。每一次更新都保持目标分布为平稳分布，因此理论实现与概念都相对直观。
3.3.2 块采样与逐维采样
变量可以逐维更新，也可以按块更新（block sampling）。逐维更新实现简单，但在变量强相关时可能导致链“锯齿式”移动；块采样可以更好地联动相关结构，提高探索效率，但每步所需计算可能更复杂。块的划分策略属于实现层面的关键设计。
3.4 其他常见算法
3.4.1 Hamiltonian Monte Carlo
Hamiltonian Monte Carlo（HMC）借助“物理中的动力学”思想，使用梯度信息生成更有方向性的提议，从而在许多连续高维问题中减少随机游走带来的低效率。其效果依赖于目标的可微性、梯度计算成本以及步长/轨道长度等超参数的合理选择。
3.4.2 Slice Sampling
Slice Sampling 通过引入辅助变量，将原分布的采样转化为对“截面区域”的均匀抽样。它不需要直接指定提议分布的尺度，往往在某些分布形状较复杂时表现稳健。与此同时，截面高度与收缩策略会影响效率与计算负担。
3.4.3 Parallel Tempering
Parallel Tempering 通过同时运行多个“温度”层级的链。高温链分布更平坦，便于跨越多峰结构；低温链更接近目标。通过交换状态或信息，提升整体探索能力，尤其适合具有明显多模态的目标分布。实践中需要选择温度序列与交换频率等设置。
4 算法设计与实现
4.1 提议分布的选择
4.1.1 步长设置
步长影响候选点与当前点之间的距离。对于基于随机游走的提议（如随机扰动），步长过大使接受概率下降；步长过小则导致状态变化幅度不足。合理设置需要在“移动速度”和“接受概率”之间取得平衡，并往往依赖试运行（pilot run）获得经验。
4.1.2 对称性与效率
提议分布是否对称，决定了是否需要使用 MH 的非对称校正项。更重要的是，提议分布的几何结构（例如是否与目标的相关方向匹配）会影响链的有效探索。若提议忽略了目标的各向异性，可能导致大量无效尝试或慢速漂移。
4.2 初值与初始化
4.2.1 过渡阶段处理
从初值出发到接近平稳分布通常需要一定时间。该阶段的样本可能带有明显偏差，因此常通过丢弃若干迭代步（burn-in）来减小偏差。过渡阶段的长度与目标分布的复杂度、提议机制及链的混合效率有关。
4.2.2 Burn-in 期
Burn-in 的设定通常依赖诊断结果，而非单一规则。若链尚未进入稳定波动区域，过早开始统计会引入系统性误差；若 burn-in 过长则降低有效样本量。实践中常结合多条链对比轨迹稳定性来做决定。
4.3 样本保留与稀释
4.3.1 Thinning 的用途
Thinning 指按一定间隔保留样本，丢弃中间点。理论上，是否需要 thinning 取决于后续估计的方式与相关性程度；在许多情况下，保留全部样本再通过自相关分析估计误差更为常见。Thinning 有时用于存储或降低相关样本之间的冗余，但它不会增加真实信息量。
4.3.2 自相关影响
自相关会降低有效样本量，使得同样的迭代次数产生的统计信息少于独立抽样。链的自相关来源包括步长不合适、变量强相关或更新策略过于局部。降低自相关通常需要改进提议机制、调整块划分或采用更合适的算法框架。
4.4 计算复杂度
4.4.1 迭代成本
每一次迭代的成本可能包含目标密度评估、梯度计算（如 HMC）、或条件分布采样等步骤。总成本取决于单步开销与需要的迭代步数（以及是否要并行运行多条链用于诊断）。
4.4.2 维度扩展问题
高维时，提议分布在几何空间中的表现会发生变化：在随机游走类方法中，步长与接受率之间的平衡更难维持，导致混合变慢。另一方面，某些算法引入梯度或结构利用以缓解维度带来的挑战，但也会增加每步计算复杂度，因此需要在效率与可实施性之间权衡。
5 收敛诊断与评估
5.1 可视化诊断
5.1.1 Trace plot
Trace plot 展示样本随迭代变化的轨迹。稳定的“围绕某个水平波动”、缺乏明显趋势，通常表明链已进入较稳定的采样状态。若轨迹呈现漂移、长时间停留或频繁跳转，往往提示混合不足或存在多模态尚未充分探索。
5.1.2 自相关图
自相关图用于观察样本之间的依赖衰减速度。自相关衰减缓慢意味着有效样本量较低，估计误差会增大。通过比较不同参数设置（如步长或块策略）的自相关强弱，可以帮助改进采样效率。
5.2 数值诊断指标
5.2.1 Gelman-Rubin 统计量
Gelman-Rubin 统计量（常记为 \(\hat{R}\)）基于多条链的组间与组内变异度，用于评估链是否达到相似的目标分布层次。数值接近 1 往往表示收敛迹象较好；偏离较大时可能需要更长迭代或改进算法设置。
5.2.2 有效样本量
有效样本量衡量相关性对信息的损失程度。它将自相关结构折算为“相当于多少条独立样本”的数量。有效样本量越高，估计通常越稳定；若有效样本量显著低于迭代次数，说明相关性影响强。
5.2.3 蒙特卡洛标准误
蒙特卡洛标准误用于量化由于随机抽样带来的波动。它依赖于估计量在链中的自相关与方差结构。标准误过大提示迭代次数不足或链混合不足；通过增加迭代、改进提议策略或调整算法参数，标准误通常可以降低。
5.3 混合效率分析
5.3.1 状态空间探索能力
混合效率不仅是“跑得够不够久”，也包含“是否走遍了目标的主要区域”。在多峰目标中，链可能长期停留在单个模式，表现为探索能力不足。评估探索通常结合轨迹、分布形态和多链差异等信息。
5.3.2 链的相关性
链的相关性直接影响统计效率。即便接受率看起来合理，如果链每步只是小幅调整且难以跨越复杂结构，也会造成高自相关。调参策略应围绕“降低不必要相关性”和“提升有效移动”展开，而不是只追求某个单独指标。
6 应用领域
6.1 贝叶斯推断
6.1.1 后验分布采样
贝叶斯推断中，后验分布往往难以解析求解。MCMC 通过采样后验，从而得到参数的不确定性刻画、预测分布的近似以及各种函数的后验期望。对于加入先验与似然后得到的复杂模型，MCMC 是常见的数值工具。
6.1.2 参数估计
在贝叶斯框架下，参数估计可以基于后验均值、后验中位数或后验分位数等统计量实现。由于采样带来自身误差，需要配合诊断指标评估结果可靠性，并考虑估计量对后验尾部或多峰结构的敏感程度。
6.2 统计物理
6.2.1 配分函数近似
配分函数在许多模型中对应归一化常数，直接计算常难。MCMC 可通过构造与玻尔兹曼分布相关的马尔可夫链来采样，从而间接获得配分函数相关量或热力学量。该思路使得复杂系统的数值研究更可操作。
6.2.2 玻尔兹曼分布采样
在能量函数定义的模型中，状态按 \(e^{-\beta E(x)}\) 权重出现。MCMC 通过合理的转移机制在不同能量区域间移动，从而实现对玻尔兹曼分布的近似抽样。多峰或临界区附近的困难往往促使采用并行升温等策略增强探索。
6.3 机器学习
6.3.1 潜变量模型
潜变量模型常出现后验难以解析的情形。MCMC 可用于对潜变量与参数的联合或条件分布进行采样，从而完成推断与学习。虽然训练成本可能较高，但其表达灵活、对分布形态的假设相对宽松。
6.3.2 概率图模型
概率图模型通过结构化的依赖关系描述随机变量之间的相关性。Gibbs 采样或 MH 等方法可在图结构上进行局部更新，利用条件独立性降低计算难度。对于结构较复杂的图，如何选择更新顺序与分块策略会影响整体效率。
6.4 生物信息学
6.4.1 序列分析
序列分析中常涉及隐状态与不确定性建模，例如对突变、插入缺失或功能位点进行统计推断。MCMC 可用于对模型参数和隐变量的后验进行采样，从而得到对序列相关特征的估计及置信度刻画。
6.4.2 基因网络推断
基因网络推断往往需要同时考虑多种数据来源与模型假设。MCMC 能够在后验分布不可解析时给出数值近似，并用于比较不同网络结构的相对可能性。由于网络空间巨大，算法效率与收敛评估尤为关键。
7 优缺点与局限
7.1 优点
7.1.1 适合高维复杂分布
当目标分布在解析意义上难以处理时，MCMC 通过构造平稳链实现数值采样。相较于要求精确归一化或闭式积分的方案，MCMC 更具通用性，能够覆盖广泛的统计与工程场景。
7.1.2 无需精确归一化常数
在许多情况下，只需要目标密度的未归一化形式。MH 接受率等机制利用相对权重确保平稳性，因此避免了直接计算归一化常数的巨大困难。
7.2 局限性
7.2.1 收敛速度问题
MCMC 的理论正确性不等同于实践高效性。收敛速度受链的混合性质影响，某些目标分布（例如强相关或多峰）会使得达到近似平稳需要大量迭代。
7.2.2 高相关样本
样本之间相关性会降低估计精度。即使迭代次数增加，自相关较强时有效样本量仍可能增长缓慢，导致计算成本与收益不成比例。
7.2.3 维数灾难
在高维条件下，简单提议机制可能无法有效探索，表现为接受率下降或移动步幅不足。维度越高，几何结构越复杂，对算法参数与提议策略的要求也越高。
8 相关概念与扩展
8.1 马尔可夫链
8.1.1 随机过程基础
MCMC 与马尔可夫链理论紧密相关。理解状态、转移核、平稳分布以及收敛性质，有助于将不同算法看作在同一框架下对转移机制的具体实现，从而更系统地分析算法行为。
8.2 蒙特卡洛方法
8.2.1 重要性采样
重要性采样用另一分布进行采样，再通过权重校正以估计目标期望。它与 MCMC 相比，往往要求选择合适的提议分布以控制权重波动；权重退化严重时会导致方差过大。
8.2.2 拒绝采样
拒绝采样通过在超分布上生成样本并按比例接受来获得目标分布样本。它适用范围取决于是否能找到足够紧的包络分布；在高维或目标较复杂时，包络往往难以构造且接受率可能过低。
8.3 变分推断
8.3.1 与 MCMC 的比较
变分推断通过优化寻找近似分布以逼近后验，通常相比 MCMC 更快但可能引入偏差。MCMC 倾向于“按定义抽样”获得更准确的后验表征，但计算代价较高；两者在速度、精度与实现复杂度之间存在权衡。
8.4 现代改进方法
8.4.1 自适应 MCMC
自适应 MCMC 在采样过程中根据历史调整提议机制或参数，例如更新步长或协方差估计。其目的在于提高效率并减少人工调参。然而自适应需要满足相应条件以避免破坏平稳性与收敛保证，因此实现上通常比静态算法更讲究规范。
8.4.2 状态空间模型中的扩展
在状态空间模型中存在时间序列结构，MCMC 常与粒子方法或其他递推机制结合，用于对隐状态和参数进行联合或交替更新。结构化的时序依赖使得采样设计更复杂，但也可能借助模型因子化结构提高计算效率。