1 基本概念
隐马尔可夫模型是一类用于刻画“状态不可直接观测，但可通过外部表现推断”的概率模型。它将系统演化过程拆分为两部分：一部分是随时间变化的隐藏状态，另一部分是由隐藏状态产生的可观测输出。由于状态本身不可见，只能通过观测序列间接推断，因此该模型常用于带有序列结构的问题。
1.1 隐状态与可观测状态
隐状态是模型内部真正驱动系统变化的变量，通常不能被直接测量。例如在语音处理中，隐状态可以对应某些发音单元；在行为分析中，则可对应人的动作意图或行为阶段。可观测状态是外界实际记录到的数据，如声音特征、文字符号或传感器读数。模型的任务之一，就是根据观测结果反推出最可能的隐状态变化过程。
1.2 马尔可夫性质
隐马尔可夫模型通常假设系统满足马尔可夫性质，即某一时刻的状态只依赖于前一时刻状态，而与更早的历史无关。这种“只看一步”的设定，使序列建模具有清晰的递推结构，也便于进行概率计算与算法设计。尽管真实系统往往更复杂，但这一假设在很多实际场景中具有较好的近似效果。
1.3 发射概率与转移概率
转移概率描述隐藏状态之间如何从一个状态过渡到另一个状态，反映系统内部的演化规律。发射概率则描述某一隐藏状态下生成某个观测值的可能性，体现状态与外部表现之间的对应关系。两者共同构成模型的核心参数，前者控制“状态怎么变”，后者控制“会观测到什么”。
1.4 初始状态分布
初始状态分布用于描述序列开始时系统处于各个隐藏状态的概率。它决定了模型从哪个状态起步，以及不同起点对后续序列生成的影响。对于短序列或起始信息较重要的任务，初始分布会对结果产生较明显的作用。
2 数学定义
隐马尔可夫模型通常由状态集合、观测集合以及一组概率参数共同定义。给定这些要素后，模型即可用于生成观测序列，或对已有序列进行概率评估和状态推断。
2.1 状态空间
状态空间是所有可能隐藏状态的集合，通常记为有限集合。每个状态代表系统的一种内部情形，状态数量由具体问题决定。有限状态空间使模型在数学上可处理，也便于通过矩阵形式表达转移关系。
2.2 观测序列
观测序列是按时间顺序排列的外部数据，记作一串离散或连续的观测值。模型假定这些观测值由对应时刻的隐藏状态产生，因此观测序列既是输入，也是推断隐藏过程的重要线索。不同类型的任务中，观测可以是符号、特征向量、数值信号等。
2.3 模型参数
隐马尔可夫模型的参数主要包括状态转移矩阵、观测概率矩阵和初始概率向量。它们共同决定模型的行为方式，也决定了模型对数据的解释能力。参数一旦确定，便可用于计算序列概率、寻找最优状态路径或生成样本。
2.3.1 状态转移矩阵
状态转移矩阵记录从一个隐藏状态转移到另一个隐藏状态的概率。矩阵中的每一行对应一个当前状态，每一列对应一个下一步状态，行概率之和通常为1。该矩阵反映了状态演化的偏好与约束，是模型中最重要的结构信息之一。
2.3.2 观测概率矩阵
观测概率矩阵描述在某一隐藏状态下产生各类观测的概率。对于离散观测模型，这一关系可直接用矩阵表示；对于连续观测模型，则往往通过概率密度函数来表达。它决定了模型如何从内部状态映射到外部信号。
2.3.3 初始概率向量
初始概率向量给出序列起点落在各个隐藏状态上的概率分布。与转移矩阵不同，它只作用于时间起始位置，因此维度与状态数相同。它常用于建模序列起始阶段的不确定性。
2.4 概率生成机制
隐马尔可夫模型的生成过程通常按时间逐步进行：先从初始分布中选取起始状态，再依据转移概率生成后续状态，同时在每个状态下按发射机制产生观测值。这样，隐藏状态序列与观测序列便被联结为一个完整的随机过程。该机制既能解释数据的来源，也能用于模拟类似样本。
3 核心问题
围绕隐马尔可夫模型，通常存在三个基础问题：给定模型与观测，如何计算序列概率；给定模型与观测，如何找出最可能的状态序列；以及如何根据样本数据估计模型参数。这三类问题分别对应评估、解码和学习，是HMM研究与应用的核心。
3.1 评估问题
评估问题关注“在给定模型参数时，某个观测序列出现的概率是多少”。这类问题不仅用于比较不同模型，也常作为训练和推断的基础步骤。直接枚举所有可能状态序列通常不可行，因此需要高效算法。
3.1.1 前向算法
前向算法通过递推方式逐步累计到达某一时刻、某一状态并产生前缀观测序列的概率。它将原本指数级的计算转化为多项式时间内的动态规划过程。由于每一步都利用了前一步结果，计算效率较高，是HMM中最常用的概率评估方法之一。
3.1.2 后向算法
后向算法与前向算法相对应，从序列末端向前递推，计算从某一状态出发并生成后续观测序列的概率。它常与前向算法结合使用，以获得更完整的概率信息。两者配合时，既能提升计算效率，也便于求取中间状态的后验概率。
3.2 解码问题
解码问题的目标是根据观测序列，找出最可能的隐藏状态路径。与评估问题相比，它关注的不是整体概率，而是“哪条状态轨迹最合理”。在语音识别、词性标注等任务中，这一问题尤为关键。
3.2.1 维特比算法
维特比算法是一种用于寻找最优状态路径的动态规划方法。它在每个时刻保留到达各状态的最大概率，并记录对应来源，从而避免穷举所有路径。该算法计算结构清晰，能够有效求解最大后验路径。
3.2.2 最可能状态序列
最可能状态序列是指在给定观测条件下，联合概率最大的隐藏状态序列。它并不一定等同于逐时刻分别取局部最优状态的结果，而是需要兼顾全局路径的一致性。该序列常被视为模型对观测数据的最佳解释。
3.3 学习问题
学习问题研究如何根据数据反向估计模型参数，使模型更符合实际样本分布。由于隐藏状态未知，参数学习往往比普通监督分类更复杂。常见做法包括基于标注数据的直接估计，以及在无标注数据下的迭代优化。
3.3.1 参数估计
参数估计的目标是从训练样本中求出转移概率、发射概率和初始概率等参数。若状态序列已知，可通过频数统计进行估计；若状态未知，则需借助迭代算法或最大似然方法。估计质量直接影响后续预测和解码效果。
3.3.2 监督学习与无监督学习
监督学习依赖于带有状态标注的数据，参数估计较为直接，结果也更稳定。无监督学习则只有观测序列，没有显式状态标签，通常需要通过期望最大化类方法逐步逼近参数。前者对数据要求高，后者更适合标注稀缺的场景。
4 经典算法
隐马尔可夫模型的经典算法主要围绕三类任务展开：概率计算、参数训练和最优路径搜索。它们构成了HMM理论与实践中的基础工具，也奠定了后续大量序列模型算法设计的思路。
4.1 前向-后向算法
前向-后向算法通过同时利用正向递推与反向递推信息，计算序列中各时刻状态的后验概率。它在训练和分析中都很重要，尤其适合在未知状态条件下估计中间变量的分布。
4.1.1 概率递推
该算法分别定义前向变量和后向变量，并通过递推公式逐步更新。前向部分汇总已观测前缀的信息，后向部分汇总未来观测带来的约束，二者结合后可求得任意时刻状态的条件概率。其本质是利用分解结构减少计算量。
4.1.2 数值稳定性处理
在长序列下，概率连乘容易导致数值下溢。为缓解这一问题，常采用归一化、对数空间计算或缩放因子等方法。数值稳定处理并不改变理论结果，但能显著提高实际实现的可靠性。
4.2 Baum-Welch算法
Baum-Welch算法是HMM中最常见的无监督训练算法，属于期望最大化思想的具体实现。它通过不断估计隐藏变量的期望分布，并据此更新参数，使模型似然逐步提升。
4.2.1 期望最大化思想
该方法将难以直接优化的对数似然问题拆分为两个步骤：先在当前参数下计算隐藏状态的期望，再在该期望基础上重新估计参数。如此循环往复，直至收敛或达到迭代上限。它体现了“先推断隐变量，再优化参数”的典型思路。
4.2.2 参数迭代更新
在每轮迭代中，模型会根据前向-后向结果统计状态转移和观测生成的期望次数，然后重新计算相关概率参数。更新后的参数若使似然增大，则继续下一轮迭代。尽管该过程通常能改善模型，但不一定保证达到全局最优。
4.3 维特比算法
维特比算法是HMM最典型的解码工具，专门用于寻找概率最大的状态路径。它通过保存局部最优结果并最终回溯重建整条路径，兼顾效率与可解释性。
4.3.1 动态规划原理
算法利用最优子结构性质，将全局路径问题拆解为逐步决策问题。每一时刻只保留到达某状态的最佳概率及其来源，从而避免重复计算。动态规划思想使原本复杂的搜索问题变得可操作。
4.3.2 路径回溯机制
在完成前向计算后，算法会从终点状态开始逆向追踪每一步的最优前驱，恢复完整状态序列。回溯过程依赖于预先保存的指针信息，因此能够准确重建最优路径。该机制也是维特比算法能输出明确解码结果的关键。
5 模型变体
随着应用需求扩大，隐马尔可夫模型发展出多种变体，以适应不同类型的观测、持续时间特征和外部输入信息。这些扩展在基本框架不变的前提下增强了模型表达能力。
5.1 离散隐马尔可夫模型
离散隐马尔可夫模型中，观测值来自有限的符号集合，适合处理类别型数据。其参数通常直接用概率矩阵表示，计算实现相对简单。早期的文本分词、符号识别等任务常采用这一形式。
5.2 连续隐马尔可夫模型
连续隐马尔可夫模型用于观测值为连续变量的情况，常以高斯分布或高斯混合分布描述发射概率。它更适合语音特征、传感器信号等数值型数据。相比离散模型，连续模型通常具有更强的拟合能力，但参数估计也更复杂。
5.3 半马尔可夫模型
半马尔可夫模型在隐状态停留时间上引入更显式的建模方式，不再完全依赖普通HMM中的一步转移假设。它能更好地描述某些状态持续时间较长或分布不均的序列过程。该变体常用于需要刻画区间长度的场景。
5.4 输入输出隐马尔可夫模型
输入输出隐马尔可夫模型在标准HMM基础上加入外部输入变量，使转移或发射过程可受额外信息影响。这样，模型不仅依赖历史状态，也能结合上下文特征进行推断。它适用于带有条件驱动因素的序列任务。
6 理论性质
隐马尔可夫模型在理论上与马尔可夫链、条件独立结构和概率图模型密切相关。其性质决定了模型的可计算性、参数可估性以及实际使用中的行为边界。
6.1 马尔可夫链基础
HMM中的隐藏状态演化本质上可视为一条马尔可夫链，只是该链本身不可见。马尔可夫链提供了状态转移的基本数学框架，也为稳态分析、路径概率计算等内容奠定了基础。HMM可以看作在马尔可夫链外层增加观测层的扩展模型。
6.2 条件独立性
在给定当前隐藏状态的条件下，当前观测通常被假设与其他时刻的状态和观测相互独立。正是这种条件独立性，使得模型分解为转移与发射两部分，并可通过递推算法高效求解。该性质是HMM结构简洁的重要原因。
6.3 可辨识性
可辨识性关注的是：不同参数设置是否会产生可区分的观测分布。若模型不可辨识，则可能存在多组参数对应相同的观测行为，从而影响解释与学习结果。实际中，可辨识性常受状态数、观测分布形式和数据量影响。
6.4 收敛性与局部最优
在参数学习中，迭代算法往往能够使目标函数单调改善，但不一定收敛到全局最优。由于似然函数可能存在多个峰值，初始化不同会得到不同结果。因而在实际应用里，常通过多次随机初始化来减轻局部最优问题。
7 应用领域
隐马尔可夫模型因其结构清晰、计算可控而被广泛应用于多种序列任务。它特别适合处理“观测有噪声、内部状态不可见、时间依赖明显”的问题。
7.1 语音识别
在语音识别中，HMM可用于刻画发音单位随时间变化的过程，并将声学特征映射到更高层次的语言单元。过去较长一段时间里，它是语音系统中的核心建模工具之一。其优点在于能够自然处理语音的时序波动。
7.2 自然语言处理
在自然语言处理中，HMM曾广泛用于词性标注、分词和命名实体识别等任务。它通过词序列推断隐含语法类别，适合表达语言中的局部依赖关系。虽然后来被更复杂的模型部分替代，但其思想仍具有基础意义。
7.3 生物序列分析
在生物信息学中，HMM常用于基因结构识别、蛋白质序列建模和功能区域预测。由于生物序列具有明显的片段性和状态切换特征，HMM能够较好地描述不同区域间的转移规律。它在模式发现与注释任务中应用广泛。
7.4 行为识别
在行为识别中，HMM可用来描述动作阶段、活动切换或用户行为模式。观测数据可能来自摄像头、可穿戴设备或环境传感器，而隐藏状态则代表行为意图或动作子阶段。该模型对于带时间顺序的行为片段尤其有效。
7.5 时间序列分析
HMM也可用于一般时间序列分析，例如状态切换检测、波动模式识别和异常过程建模。与纯数值预测模型相比，它更强调状态结构而非单点回归。对于具有阶段性变化的序列，HMM往往能提供较好的解释性。
8 模型实现
隐马尔可夫模型在实现时通常需要依次完成参数初始化、训练、解码和评估。由于算法涉及多次概率递推，实际编程中还需注意数值精度与计算效率。
8.1 参数初始化
参数初始化对训练结果影响较大，尤其是在无监督学习中。常见做法包括随机初始化、基于先验知识设定，或利用简单统计结果作为起点。合理的初始化有助于加快收敛，并减少陷入不良局部最优的风险。
8.2 训练流程
训练流程一般包括数据预处理、初始参数设定、迭代更新与收敛判断。若有标注数据，可直接统计参数；若无标注数据，则通常采用Baum-Welch类方法反复优化。训练结束后，模型会输出一组适配当前数据的参数。
8.3 解码流程
解码时，系统先将观测序列输入模型，再通过维特比算法或后验推断方法求出最可能的状态序列。若任务需要局部状态概率，也可结合前向-后向结果进行分析。解码结果常用于后续识别、标注或决策步骤。
8.4 模型评估指标
常见评估指标包括观测序列似然、状态预测准确率、路径匹配程度以及任务级别性能指标。对于标注任务，还可使用精确率、召回率等指标衡量效果。实际评估应结合任务目标，不能只看单一数值。
9 优缺点
隐马尔可夫模型具有结构明确、实现成熟等优点，但也存在建模假设较强、表达能力有限等问题。理解其长处与局限，有助于更合理地选择使用场景。
9.1 优势
HMM的主要优势在于数学形式清晰，参数含义直观，算法体系完善。它能够有效处理序列数据中的状态切换与观测噪声问题，并具有较好的可解释性。对于中小规模任务，HMM通常容易实现且计算成本适中。
9.2 局限性
该模型的核心限制在于强马尔可夫假设和条件独立假设，往往难以表达长距离依赖和复杂上下文关系。此外，当状态数增多时，参数估计会变得更加困难，训练结果也更依赖初始化。对于高度复杂的现实数据，它可能显得过于简化。
9.3 适用场景
HMM适合状态变化相对平稳、阶段划分清楚、观测与状态存在较强对应关系的场景。凡是具有明显时间顺序、且内部机制可近似为阶段跳转的问题，往往都可以考虑使用。它在解释性要求较高的任务中尤其常见。
9.4 与其他序列模型的比较
与普通马尔可夫链相比，HMM额外引入了隐藏层，能描述不可见状态；与贝叶斯网络相比，它更强调时间递推；与条件随机场相比，它是生成式模型，较便于做序列生成；与循环神经网络相比，它结构更简单、可解释性更强，但表示能力通常较弱。不同模型各有侧重，需根据任务需求选择。
10 相关概念
隐马尔可夫模型与多种概率模型和序列学习方法存在密切联系。理解这些相关概念，有助于把握HMM在统计建模中的位置。
10.1 马尔可夫链
马尔可夫链是一类满足马尔可夫性质的随机过程，是HMM隐藏状态部分的基础。它只描述状态之间的转移，不涉及观测层。HMM可以看作在马尔可夫链之上增加观测生成机制的扩展。
10.2 贝叶斯网络
贝叶斯网络是用有向无环图表达变量间条件依赖关系的概率模型。与HMM相比，它更一般化，但不专门针对时间序列。若将时间维度展开，HMM也可被视为一种具有特定结构的动态概率图模型。
10.3 条件随机场
条件随机场是一种判别式序列模型，直接建模给定观测下的状态条件分布。与HMM的生成式建模不同，CRF通常在标注任务中表现更强，尤其适合利用丰富特征。两者都能处理序列标注，但建模目标和训练方式有所差异。
10.4 循环神经网络
循环神经网络是一类通过循环连接处理序列数据的神经网络模型。它能够学习更复杂的时序依赖，在表达能力上通常强于传统HMM。不过，HMM在可解释性、概率结构和经典算法完整性方面仍具有独特价值。