1 基本概念
1.1 定义
期望最大化算法，简称 EM 算法，是一种用于参数估计的迭代方法，适合处理含有隐变量或存在缺失数据的问题。其基本做法是将难以直接优化的目标拆分为两个交替步骤：先估计隐含信息的期望，再据此更新模型参数。由于每一轮迭代都尽量提升观测数据的似然值，EM 被广泛用于统计推断与机器学习建模。
1.2 适用问题
EM 算法主要面向那些“完整信息不可直接获得”的情形。在这类问题中，观测到的数据只是整体的一部分，而另一部分信息需要通过模型推断出来。EM 的优势在于，它不要求一开始就显式消除隐变量，而是通过迭代方式逐步逼近较优解。
1.2.1 隐变量模型
在隐变量模型中，系统的真实结构通常由可观测变量和不可直接观测的潜在变量共同决定。比如样本可能来自不同的潜在类别，但类别标签并未显式给出。EM 可以通过估计各个潜在类别的归属概率，逐渐确定模型参数。
1.2.2 缺失数据问题
当数据集存在空缺值时，直接估计参数往往会受到影响。EM 可将缺失部分视作隐变量，在每轮迭代中先根据当前参数推断缺失信息，再利用补全后的“完整数据”更新模型。这样既保留了已知信息，也避免了对缺失值做过于粗糙的简单替代。
1.3 核心思想
EM 的核心思想可以概括为“先估计，再优化”。E 步负责计算隐变量在当前参数下的条件期望，M 步则利用这些期望结果重新求解参数。两步交替进行，模型的拟合程度通常会逐步提高。这种分而治之的策略，使复杂估计问题变得更易处理。
2 算法原理
2.1 期望步（E 步）
E 步的任务是基于当前参数，计算隐变量相关的统计量。对于许多模型而言，这一步并不直接给出隐变量的具体值，而是给出其概率分布或期望形式。它相当于在“当前理解”下，对未知部分做出最合理的软推断。
2.1.1 条件期望的计算
在 E 步中，常计算完全数据对数似然的条件期望。该期望以观测数据和当前参数为条件，反映隐变量在现有模型下的平均行为。对于混合模型，这通常表现为样本属于各个成分的概率；对于序列模型，则可能是某一状态在某时刻出现的期望次数。
2.1.2 后验分布估计
E 步也可被理解为估计隐变量的后验分布。模型会根据观测结果和当前参数，给出隐变量取不同值的可能性。这样的分布比单点估计更平滑，也更适合表达不确定性，尤其在多峰或噪声较强的场景中较为有效。
2.2 最大化步（M 步）
M 步在 E 步提供的期望信息基础上，重新寻找能够提升目标函数的参数值。其本质是对模型参数进行一次条件优化，使得在当前隐变量估计下，完整数据的拟合程度尽可能高。
2.2.1 参数更新规则
参数更新规则取决于具体模型形式。某些模型有闭式解，可以直接写出新参数；另一些模型则需要数值优化。无论形式如何，M 步的目标都是让参数朝更有利于解释数据的方向调整。
2.2.2 对数似然优化
EM 通常围绕对数似然函数展开。直接最大化观测数据的对数似然往往较难，而通过引入隐变量后，优化过程会被转化为更易处理的形式。M 步实际上是在一个更“平滑”的目标上进行改进，从而间接推动原目标函数上升。
2.3 迭代机制
EM 并非一次求解完成，而是通过循环迭代不断逼近稳定结果。每次迭代都依赖上一次的输出，因此算法的表现与初始化方式密切相关。
2.3.1 初始化
初始化通常决定 EM 的起点。常见做法包括随机初始化、基于启发式方法设定初值，或借助其他算法先给出粗略估计。合理的初始参数有助于加快收敛，并减少陷入不理想解的风险。
2.3.2 收敛判定
EM 的停止条件一般包括参数变化足够小、对数似然增量低于阈值，或达到预设最大迭代次数。实际应用中，往往会综合多种判据，以平衡计算成本和结果稳定性。
3 数学推导
3.1 似然函数与完全数据似然
EM 的推导通常从观测数据似然出发。由于隐变量存在，观测似然常表现为对完整数据似然的积分或求和，直接求解较为困难。若把隐变量也纳入考虑，完整数据似然的形式往往更规整，便于展开和优化。
3.2 下界与 Jensen 不等式
EM 的理论基础之一是构造似然函数的下界。通过 Jensen 不等式，可以将难以直接处理的对数似然转化为一个可优化的下界。E 步与 M 步实际上是在不断提升这个下界，从而带动原始似然同步上升。
3.3 单调收敛性质
EM 的一个重要特点是，每次迭代通常不会降低观测数据似然。这个性质使算法具有较好的稳定性，也为其广泛应用提供了理论支撑。
3.3.1 似然提升证明
在标准 EM 框架下，E 步构造当前参数下的期望完整数据对数似然，M 步则选择使该期望最大化的参数。由于下界被逐步抬高，观测似然一般呈单调不减趋势。这一过程构成了 EM 最核心的理论保证。
3.3.2 局部最优性分析
尽管似然值会逐步提高，但 EM 并不保证找到全局最优解。算法更常收敛到某个局部极值点或鞍点附近。这意味着最终结果与初始条件、模型结构以及数据分布都有较强关联。
4 典型模型中的应用
4.1 高斯混合模型
在高斯混合模型中，数据被看作由多个高斯分布共同生成，每个样本来自哪一类是隐含的。EM 很适合处理这类场景，因为类别归属本身就可以作为隐变量来估计。
4.1.1 责任度计算
E 步中需要计算样本对各个高斯分量的责任度，即某个样本由某一成分生成的概率。责任度越高，表示该样本越可能属于对应分量。这一步是聚类结果形成的关键。
4.1.2 均值与协方差更新
在 M 步中，利用责任度重新估计各分量的均值、协方差和混合权重。样本对不同分量的“软分配”会直接影响参数更新，使模型逐步贴近数据的真实分布。
4.2 隐马尔可夫模型
隐马尔可夫模型常用于序列分析，其中隐藏状态决定观测序列的生成方式。由于状态不可直接观察，EM 便成为估计模型参数的重要工具。
4.2.1 前向后向算法关联
在隐马尔可夫模型中，E 步通常借助前向后向算法计算状态后验概率和相邻状态转移概率。这个过程可以高效地获得序列中每个时刻的隐状态统计信息，为后续更新提供依据。
4.2.2 状态转移参数估计
M 步根据 E 步得到的期望转移次数和状态占用次数，更新状态转移矩阵与发射概率。这样做可以让模型更准确地描述序列中状态变化的规律。
4.3 缺失数据插补
当数据表中存在空值时，EM 可以在估计参数的同时完成一定程度的数据重建。它通过“边估边补”的方式，使缺失部分不再完全阻断建模流程。
4.3.1 参数估计与重建
在缺失数据场景中，E 步会根据已观测值推断缺失部分的期望，M 步则利用这些估计更新整体参数。最终得到的参数不仅用于分析，还可以反过来帮助重建缺失项。
4.3.2 数据补全流程
补全流程通常包括识别缺失位置、初始化缺失值、执行 EM 迭代以及输出补全结果。实际应用中，补全值多为概率意义上的估计，而不是简单的机械填充，因此往往更符合数据整体结构。
5 算法性质
5.1 收敛性
EM 具有较明确的收敛行为，尤其在标准条件下，对数似然通常会随着迭代逐渐增加。不过，收敛并不等于达到全局最优，因此结果解释仍需结合模型和初始设置。
5.1.1 单调性
EM 的单调性是其重要性质之一。每轮迭代至少不会让目标函数变差，这使得算法在实践中较为稳定，也便于监控训练过程。
5.1.2 局部收敛
算法最终收敛到的往往是局部稳定点。若参数初始值较好，局部收敛也可能产生高质量结果；若初值不佳，则可能停留在次优区域。
5.2 复杂度分析
EM 的计算代价主要来自 E 步和 M 步的重复执行。具体复杂度与模型结构、数据规模以及隐变量维度有关。
5.2.1 计算成本
当隐变量数量较多或后验计算较复杂时，E 步的代价会显著上升。M 步若包含矩阵运算、求逆或数值优化，也可能成为主要瓶颈。整体而言，EM 的成本通常随迭代轮数线性累积。
5.2.2 存储成本
除计算外，EM 还可能需要保存责任度、状态概率或其他中间统计量。对于大规模数据，这部分内存开销不容忽视，尤其在高维模型中更为明显。
5.3 对初值的敏感性
EM 的结果受初始参数影响较大。不同起点可能导向不同的收敛点，因此在实际应用中常需多次尝试，以获得更稳妥的结果。
5.3.1 多次初始化策略
常见策略是从多个随机初值分别运行 EM，再比较最终似然值或模型表现，选取较优结果。也可以借助其他粗略算法先生成较合理的起点，以提升稳定性。
5.3.2 局部最优问题
由于目标函数通常非凸，EM 很容易停在局部最优附近。为减轻这一问题，实际应用中常结合多次重启、模型简化或正则化手段进行辅助。
6 优缺点
6.1 优点
EM 之所以被广泛采用，主要在于它能较自然地处理隐变量与缺失信息，同时在许多模型中具有清晰的实现路径。
6.1.1 适用范围广
EM 可用于混合模型、序列模型、插补问题等多种情形，适配性较强。只要能构造完整数据似然并分离 E 步与 M 步，通常都可以使用这一框架。
6.1.2 实现相对简单
与某些复杂优化方法相比，EM 的结构直观，步骤明确。许多经典模型还可获得解析更新式，因此在工程实践中具有较高可操作性。
6.2 缺点
尽管 EM 使用方便，但它并非万能工具，在收敛效率和最优性方面存在天然限制。
6.2.1 收敛速度限制
EM 有时需要较多轮迭代才能达到稳定状态，尤其在变量相关性较强或信息不充分时更为明显。若目标只是快速得到近似解，EM 可能不如某些一阶加速方法高效。
6.2.2 易陷入局部最优
由于非凸性，EM 常受局部最优影响。即使迭代过程稳定，也未必得到全局意义上的最佳参数，这限制了其在复杂模型中的最终效果。
7 变体与扩展
7.1 广义 EM 算法
广义 EM 允许 M 步不必精确最大化目标函数，只要能使其增加即可。这一放宽使算法更灵活，尤其适用于难以求得解析解的模型。
7.2 在线 EM 算法
在线 EM 适合数据流或超大规模数据场景。它不必每次都处理完整数据集，而是根据新到样本逐步更新参数，从而减少一次性计算负担。
7.3 变分 EM 方法
变分 EM 将 EM 与变分推断结合，用更易处理的分布近似复杂后验，从而在难以精确计算 E 步时提供替代方案。
7.3.1 近似推断思想
该方法通过选择一个可计算的近似分布，来替代原本难求的真实后验。随后再在近似空间内进行优化，兼顾可行性与表达能力。
7.3.2 应用场景
变分 EM 常见于潜变量较多、后验难以解析处理的模型，例如某些主题模型和深层概率模型。它能在可计算性与模型复杂度之间取得折中。
8 实际应用
8.1 机器学习
在机器学习中，EM 常被用于训练含隐结构的概率模型，是聚类、生成建模和不完全数据分析中的常用工具。
8.1.1 聚类
EM 生成的“软聚类”结果比硬划分更细腻，能够反映样本属于多个类别的概率。相比单纯按距离划分的方式，它更适合分布重叠明显的数据。
8.1.2 密度估计
在密度估计任务中，EM 可帮助学习混合分布参数，从而刻画复杂数据的概率形状。通过多个成分的叠加，模型可以逼近较复杂的真实分布。
8.2 计算机视觉
视觉任务中常存在遮挡、噪声和结构不完整等问题，EM 可用于估计隐含区域或潜在类别。
8.2.1 图像分割
在图像分割中，像素或区域的类别往往并非直接可见。EM 可通过不断更新区域归属概率和模型参数，实现对图像内容的分层划分。
8.2.2 特征建模
视觉特征常呈现混合分布或层次结构，EM 能用于估计这些潜在模式的参数。它在场景识别、目标建模等任务中也有一定应用价值。
8.3 语音与自然语言处理
序列数据和潜在结构丰富的语言数据，往往很适合 EM 这类隐变量驱动的方法。
8.3.1 序列建模
语音识别与时间序列分析中，隐藏状态常代表发音单元、声学模式或上下文阶段。EM 可用于估计这些状态转换与观测生成参数。
8.3.2 主题模型相关方法
在文本分析中，某些主题模型借助类似 EM 的迭代框架估计词项与主题的关联关系。通过反复更新隐含主题分布，模型可逐渐逼近文本集合的潜在结构。
9 相关算法比较
9.1 与梯度下降的比较
梯度下降直接沿目标函数的梯度方向更新参数，适合连续可微优化问题；EM 则通过引入隐变量，把复杂问题拆成两步处理。相较之下，EM 更依赖模型结构，而梯度下降更强调通用优化能力。
9.2 与牛顿法的比较
牛顿法利用二阶信息，往往具有更快的局部收敛速度，但计算代价较高。EM 通常不需要显式求二阶导数，因而在某些概率模型中更易实现，不过收敛速度未必占优。
9.3 与贝叶斯方法的关系
EM 与贝叶斯方法都关注不确定性处理，但侧重点不同。EM 多用于点估计，求解参数的最优值；贝叶斯方法则倾向于对参数分布进行描述。两者在实际中也可结合使用，例如通过贝叶斯先验增强模型稳定性。
10 历史与发展
10.1 提出背景
EM 的提出源于对含隐变量统计推断问题的需求。早期研究者希望找到一种既能利用完整数据思想、又能适应观测不完整现实的通用框架，EM 便在这一背景下逐步形成。
10.2 经典论文与发展脉络
EM 的经典化过程与统计推断、概率模型和计算方法的发展密切相关。随着混合模型、序列模型和缺失数据分析的普及，EM 逐渐成为标准工具之一，并被广泛纳入各类教材与软件实现。
10.3 现代改进方向
现代研究主要围绕加速收敛、增强鲁棒性和处理大规模数据展开。常见方向包括在线化、分布式化、变分近似以及与其他优化策略融合，以适应更复杂的数据环境。