1 基本概念
1.1 定义与研究对象
姿态估计是计算机视觉中的一类核心任务，主要目标是从图像、视频或传感器数据中识别目标的关键部位，并推断其空间结构与朝向。这里的“目标”既可以是人体，也可以是动物、机械部件或通用物体。研究重点通常包括关键点的位置、部位之间的连接关系，以及整体姿态在场景中的变化。
从应用角度看，姿态估计不仅关心“看到了什么”，还关注“如何摆放”“如何运动”。因此，它既属于目标理解问题，也与运动分析、行为识别和三维重建密切相关。随着算法发展，姿态估计已从单纯的点位检测，逐渐扩展为对结构关系和时间动态的综合建模。
1.2 姿态估计的任务类型
姿态估计可以按照输出维度、目标数量和任务场景进行划分。不同类型的任务在输入形式、建模方式和评估标准上存在明显差异，但核心思想都围绕关键点定位与结构恢复展开。
1.2.1 二维姿态估计
二维姿态估计主要处理图像平面中的关键点定位问题，例如检测人体的头部、肩膀、肘部、膝盖等部位在二维坐标系中的位置。该任务通常以单张图像或视频帧作为输入，输出每个关键点的像素坐标或热力图结果。
这类方法实现相对成熟，适合实时性要求较高的场景。其局限在于只能反映平面位置，难以准确恢复深度信息，因此在遮挡较多或视角变化明显时，结果可能出现偏差。
1.2.2 三维姿态估计
三维姿态估计进一步推断目标在三维空间中的结构关系，除了关键点的水平和垂直位置，还包括深度方向上的分布。与二维任务相比，它更接近真实世界中的姿态表达，能够为动作分析、虚拟角色驱动和机器人控制提供更完整的信息。
三维姿态估计通常依赖多视角图像、深度传感器或时序信息，也可以通过单目图像结合先验知识进行推断。由于三维信息更丰富，这类任务对数据质量、模型表达能力和约束建模能力的要求也更高。
1.2.3 单目标与多目标姿态估计
单目标姿态估计只关注画面中的一个对象，例如单个人体或单个动物；多目标姿态估计则需要在同一场景中同时识别多个对象，并分别建立各自的关键点集合。后者不仅要完成点位检测，还要解决“哪些关键点属于同一个个体”的关联问题。
多目标任务在拥挤场景中尤为复杂，因为多个目标可能发生重叠、遮挡或交叉。为此，算法往往需要结合检测、分组和跟踪等多种机制，以维持较稳定的识别结果。
1.3 姿态、关键点与骨架的关系
在姿态估计中，关键点是最基本的表示单元，通常对应人体关节、动物肢体节点或物体的结构特征点。骨架则是由这些关键点及其连接关系构成的拓扑结构，用于表示目标的整体形态。
“姿态”强调的是目标当前的空间状态，既包括关键点的位置，也包括部位之间的相对关系。换言之，关键点提供局部信息，骨架体现结构组织，而姿态则是二者共同描述的综合结果。对于很多应用而言，骨架模型有助于提高表达的稳定性，也便于后续动作分析与类别识别。
2 技术原理
2.1 关键点检测思路
关键点检测是姿态估计的基础环节，常见思路包括热力图回归、坐标直接回归以及关键点分组与关联等。不同方法在精度、速度和对遮挡的适应性方面各有侧重。
2.1.1 热力图回归
热力图回归是较常见的关键点检测方式，模型不直接输出坐标，而是为每个关键点生成一张概率分布图。热力图中响应最高的位置通常被视为该关键点的预测坐标。
这种方法的优点是训练稳定，能够较好地表示空间不确定性，因此在二维姿态估计中应用广泛。其不足在于输出分辨率会影响定位精度，且当多个关键点靠得较近时，容易出现响应混叠。
2.1.2 坐标直接回归
坐标直接回归通过神经网络直接预测关键点的数值坐标，而不是先生成热力图再取峰值。该方式结构简洁，推理过程较为直接，适合对速度敏感的任务。
不过，坐标回归对特征表达要求较高，因为模型需要在没有显式空间概率图的情况下学习位置关系。若缺乏足够数据或约束，预测结果可能出现抖动或偏移。
2.1.3 关键点分组与关联
在多目标场景中，检测到的关键点通常需要被归属于不同个体，因此关键点分组与关联成为重要步骤。方法通常先识别候选关键点，再依据空间距离、拓扑关系或关联评分将其组合成完整骨架。
这类策略的关键在于避免“串点”现象，即把不同对象的部位错误连接在一起。为了提高分组准确率，算法往往结合局部特征、全局结构和人体先验等信息进行判断。
2.2 空间结构建模
空间结构建模旨在把关键点之间的关系纳入统一框架，以增强姿态估计的合理性与稳定性。它不仅关注单点是否准确，也关心整体结构是否符合常识和物理规律。
2.2.1 骨架拓扑约束
骨架拓扑约束利用人体或目标的连接结构，对关键点间的相对位置进行限制。比如，肘部通常位于肩部与手腕之间，膝部一般连接大腿与小腿。这类先验有助于减少不合理预测。
在建模时，拓扑约束可作为损失函数的一部分，也可以通过图结构显式表达。它尤其适用于遮挡情况下的补全，因为结构先验能够提供额外的推断依据。
2.2.2 时序一致性约束
对于视频姿态估计，时序一致性约束用于保持相邻帧之间预测结果的连续性。由于真实动作通常具有平滑变化特征，模型可利用前后帧信息减少抖动和误检。
这类约束在动作较快、画面模糊或局部遮挡时尤为重要。通过结合时间维度信息，系统可以更好地识别短时丢失的关键点，并提升动态场景下的稳定性。
2.3 多模态信息融合
多模态融合是提升姿态估计表现的重要方向。除了普通图像，深度数据、惯性数据和其他传感器信息都可为姿态恢复提供补充线索。
2.3.1 图像与深度信息
图像提供丰富的纹理和边缘特征，而深度信息则有助于区分前后位置和空间层次。二者结合后，可以更有效地处理遮挡和复杂背景问题。
在三维姿态估计中，深度数据尤其有价值，因为它能够直接反映目标与摄像设备之间的距离关系。若与视觉特征联合使用，模型通常能获得更完整的空间理解能力。
2.3.2 图像与惯性传感器数据
惯性传感器数据通常来自加速度计或陀螺仪，可反映设备或人体的运动状态。将图像信息与惯性数据融合，能够同时利用外观线索和运动线索，提高姿态识别的连续性。
这种方式常见于可穿戴设备、动作分析系统和移动终端中。与纯视觉方法相比，它对光照变化和局部遮挡的敏感性更低，但需要解决时间同步和数据对齐问题。
3 数据与标注
3.1 数据集类型
姿态估计的数据集通常按照目标类别进行组织，不同类别的数据在采集方式、标注形式和场景覆盖范围上各不相同。
3.1.1 人体姿态数据集
人体姿态数据集是研究最充分的一类，常包含室内、室外、运动和日常活动等多种场景。数据一般标注人体主要关节点，如头、肩、肘、腕、髋、膝和踝等。
这类数据集推动了二维与三维人体姿态估计的发展，也常被用作评估算法泛化能力的重要基准。由于人体动作变化丰富，数据集通常需要覆盖不同体型、服饰和姿势组合。
3.1.2 动物姿态数据集
动物姿态数据集主要面向猫、狗、马、鸟等生物对象，其关节布局与人体明显不同，且姿态变化更具不规则性。标注时通常需要根据物种特点设置特定的关键点体系。
这类数据的难点在于外观差异较大、运动姿态复杂，且部分关键点更容易被毛发、翅膀或躯干遮挡。对应算法往往需要更强的形状适应能力。
3.1.3 通用物体姿态数据集
通用物体姿态数据集面向具有结构特征的机械部件、家具、交通工具或日用品等对象。与人体姿态不同，物体姿态估计更强调刚体或近刚体的空间朝向，以及部件之间的固定关系。
这类数据常用于工业检测、装配识别和三维理解任务。由于对象种类多样，标注标准往往依赖于具体类别定义。
3.2 标注方式
标注质量直接影响模型训练效果，因此姿态估计任务通常要求较细致的人工注释与审核。
3.2.1 关键点标注
关键点标注是最基础的方式，即在图像上标出每个目标部位的坐标。对于遮挡部位，还可能需要记录其可见性或是否缺失，以便模型学习不完整样本的处理方式。
这种标注方式直观但耗时，尤其在多目标或高密度场景中，标注成本会显著上升。
3.2.2 骨架连线标注
骨架连线标注在关键点标注的基础上，进一步说明各部位之间的连接关系。这样可以使数据集更适合结构化建模，也便于后续的拓扑约束学习。
连线规范通常由任务定义预先给定，不同数据集之间可能存在连接顺序和部位命名差异。
3.2.3 三维坐标标注
三维坐标标注用于记录关键点在三维空间中的位置，常结合多视角采集、动作捕捉系统或深度传感设备完成。与二维标注相比，它对采集环境和设备同步要求更高。
这类标注可以为三维重建、运动分析和虚拟现实提供高质量监督信号，但制作成本较高，因此可用数据相对稀缺。
3.3 数据质量问题
姿态估计对数据质量较为敏感，遮挡、视角变化和标注噪声都会影响训练和评测结果。
3.3.1 遮挡与缺失
遮挡是姿态估计中的常见难题，可能来自目标自身的肢体遮挡，也可能来自其他物体或前景干扰。关键点一旦不可见，模型就需要根据上下文进行推断。
缺失标注或不可见标记处理不当，会导致模型学习到错误关联，降低对复杂场景的适应能力。
3.3.2 视角变化
同一姿态在不同视角下可能呈现显著差异，尤其在侧身、俯视或仰视情况下，部位形态会发生明显变形。视角变化会增加关键点定位和骨架恢复的难度。
为提高鲁棒性，数据集通常会覆盖多种拍摄角度，并借助空间约束增强模型的泛化能力。
3.3.3 标注噪声
标注噪声指人工标注与真实位置之间存在偏差，可能来自主观判断差异、图像模糊或工具误差。噪声较大的样本会干扰模型收敛，降低最终性能。
在大规模数据集构建中，通常需要通过复核、自动校验或一致性筛选来减少这类问题。
4 典型算法
4.1 传统方法
在深度学习普及之前，姿态估计主要依赖手工特征、图模型和概率推断等方法。这些方法虽然表达能力有限，但为后续研究奠定了基础。
4.1.1 模板匹配
模板匹配通过预先定义的部位外观模板，在图像中寻找最相似的位置。该方法适合结构较稳定的对象，但对姿态变化和背景干扰较为敏感。
由于模板数量和变形范围有限，实际应用中通常难以应对复杂动作和大幅旋转场景。
4.1.2 图模型方法
图模型方法将关键点视为图中的节点，节点之间的连接表示部位关系。通过优化节点位置和边权约束，可以得到整体姿态的最优估计。
这类方法的优势在于结构清晰、可解释性较强，适合利用先验知识进行推断。不过，当目标姿态变化较大时，模型灵活性相对不足。
4.1.3 概率图推断
概率图推断利用概率分布描述关键点可能出现的位置，并通过推断算法寻找最可能的姿态配置。它能够自然表达不确定性，因此在早期姿态估计研究中占有重要地位。
随着计算能力提升，这类方法常与其他模型结合使用，用于处理局部遮挡和结构补全问题。
4.2 深度学习方法
深度学习显著提升了姿态估计的精度与泛化能力，成为当前主流技术路线。其核心优势在于能够从数据中自动学习复杂特征和结构关系。
4.2.1 卷积神经网络方法
卷积神经网络擅长提取局部空间特征，因此长期以来是姿态估计的主力模型。它可以通过多层特征映射逐步识别目标部位，并结合热力图或回归头输出关键点结果。
这类方法在二维人体姿态估计中表现稳定，且易于与多尺度特征融合。不过，对于长距离依赖和全局结构表达，卷积结构有时不如新型网络灵活。
4.2.2 基于Transformer的方法
基于Transformer的方法通过自注意力机制建模全局关系，能够同时关注不同部位之间的联系。与传统卷积相比，它在处理复杂场景和长程依赖方面具有优势。
此类方法常用于需要强结构理解的任务，例如多目标姿态估计和三维重建。其代价是训练和推理通常更依赖计算资源。
4.2.3 图卷积网络方法
图卷积网络将关键点及其连接关系构造成图结构，通过邻接关系传播信息，从而增强骨架建模能力。它特别适合处理部位之间有明确拓扑关系的任务。
在姿态估计中，图卷积常与视觉特征提取模块联合使用，使局部外观信息与全局结构信息相互补充。
4.3 轻量化与实时方法
在移动端、穿戴设备和在线交互场景中，姿态估计不仅要准，还要快。因此，轻量化模型和实时部署技术成为重要研究方向。
4.3.1 移动端模型
移动端模型通常通过减少网络层数、压缩通道宽度或使用高效算子来降低资源消耗。其目标是在有限算力和电池条件下保持可用精度。
这类模型广泛应用于手机健身、手势识别和便携式交互系统中，但通常需要在精度与速度之间做出权衡。
4.3.2 边缘计算部署
边缘计算部署强调将推理过程放在靠近数据源的设备侧完成，以减少传输延迟并提升响应速度。对于姿态估计而言，这有助于实现即时反馈和本地隐私保护。
实现边缘部署时，模型大小、内存占用和硬件兼容性都需要综合考虑，常配合量化、剪枝和加速库使用。
5 评估指标
5.1 准确率类指标
准确率类指标用于衡量预测关键点与真实标注之间的接近程度，是姿态估计的基础评价维度。
5.1.1 PCK
PCK指“正确关键点比例”，即当预测点落在真实点一定阈值范围内时视为正确。该指标简单直观，常用于二维姿态评估。
由于阈值设置会影响结果，PCK更适合在同类数据集内部比较模型效果。
5.1.2 OKS
OKS用于衡量关键点预测与真实标注的重合程度，并会考虑目标尺寸和关键点可见性等因素。它在多目标姿态评估中应用较多，尤其适合实例级比较。
与简单距离指标相比，OKS更能反映不同尺度对象上的相对误差。
5.1.3 MPJPE
MPJPE是三维姿态估计常用指标，表示预测关节与真实关节之间的平均位置误差。数值越小，说明三维恢复越准确。
该指标直观反映空间定位偏差，因此在三维人体重建任务中使用广泛。
5.2 效率类指标
效率类指标用于评价算法在实际运行中的资源消耗与响应能力，特别适合工程部署场景。
5.2.1 推理速度
推理速度表示模型完成一次预测所需的时间，通常与实时交互能力直接相关。速度越快，系统越适合视频流、游戏交互或在线控制任务。
在不同硬件上，推理速度可能差异明显，因此评估时通常需要说明运行平台。
5.2.2 模型参数量
模型参数量反映网络规模大小，也间接影响存储占用和训练成本。参数较少的模型往往更容易部署到资源受限设备。
不过，参数少并不必然意味着效果差，合理结构设计仍可保持较高精度。
5.2.3 计算复杂度
计算复杂度通常以浮点运算量等方式衡量，用于描述模型执行时的运算负担。复杂度较高的模型一般需要更强算力支持。
在实际应用中，该指标常与参数量、延迟和能耗一起综合考察。
5.3 鲁棒性评估
鲁棒性评估关注模型在复杂环境下是否仍能保持稳定性能，是衡量实用价值的重要部分。
5.3.1 遮挡场景
遮挡场景测试模型在部分关键点不可见时的恢复能力。优秀算法通常能利用上下文信息和结构先验进行合理补全。
5.3.2 低光照场景
低光照条件会削弱图像细节，使边缘和纹理特征变得不明显。此时模型的识别能力往往会下降，因此需要关注其在弱光下的稳定性。
5.3.3 姿态变化场景
姿态变化场景用于考察模型对大幅动作、旋转和极端身体角度的适应能力。若模型具备较强泛化性，通常可以在不常见姿态下维持较好表现。
6 应用场景
6.1 人机交互
姿态估计在交互系统中具有较强实用性，可将人体动作转化为机器可理解的控制信号。
6.1.1 手势识别
手势识别通常依赖手部关键点或手臂姿态信息来判断用户意图。与传统按钮输入相比，它更自然，也更适合非接触式控制。
6.1.2 体感控制
体感控制通过识别身体动作来驱动设备执行对应指令，常见于游戏、演示和智能终端操作中。姿态估计提供的关节信息是这类交互的重要基础。
6.2 虚拟现实与增强现实
虚拟现实与增强现实系统需要准确捕捉用户动作，以实现虚实同步和沉浸式体验。
6.2.1 动作驱动角色动画
动作驱动角色动画是将人体姿态映射到虚拟角色骨架上，使角色做出相似动作。这种方法在数字娱乐和虚拟主播等场景中较为常见。
6.2.2 实时身体跟踪
实时身体跟踪强调低延迟地捕捉用户姿态变化，并将其反映到虚拟环境中。它要求算法在速度与稳定性之间达到平衡。
6.3 运动与健康分析
姿态估计可用于记录和分析动作质量，为训练指导和健康评估提供依据。
6.3.1 动作纠正
动作纠正通过比较标准姿态与当前动作差异，提示用户改善发力方式或姿势。常见于健身、舞蹈和康复训练辅助系统。
6.3.2 训练评估
训练评估可根据关节角度、动作幅度和节奏变化等信息，对运动完成度进行量化分析。相比人工观察，这种方式更客观，也更便于长期记录。
6.4 工业与机器人
在工业生产和机器人系统中，姿态估计可帮助设备理解目标位置与状态，提升操作精度。
6.4.1 机械臂动作引导
机械臂动作引导可借助姿态信息估计工件或操作对象的方位，从而辅助抓取、装配或搬运。对于复杂工况，姿态估计能提升系统适应性。
6.4.2 机器人视觉感知
机器人视觉感知利用姿态估计识别周围目标的结构和朝向，以支持导航、协作和任务执行。它是机器人从“看见”走向“理解”的重要环节。
7 发展趋势
7.1 从单帧到时序建模
早期姿态估计多基于单帧图像，而当前研究越来越重视视频序列中的时间信息。时序建模能够利用动作连续性减少误差，并提升对短时遮挡的恢复能力。
7.2 从二维到三维重建
二维姿态估计已较为成熟，未来趋势之一是将平面关键点检测与三维重建紧密结合。这样不仅能识别“在哪儿”，还能恢复“朝向哪里”和“离相机多远”。
7.3 从单模态到多模态融合
单一图像信息在复杂场景下存在局限，多模态融合因此成为重要方向。深度、惯性、音频或其他辅助信号的加入，有望提升系统的完整性与稳定性。
7.4 从高精度到低功耗部署
随着应用场景不断下沉到终端设备，姿态估计不再只追求实验室中的精度上限，也越来越重视功耗、延迟和可部署性。
7.4.1 端侧实时推理
端侧实时推理强调在本地设备上直接完成姿态识别，以减少网络依赖并提升响应速度。它适合移动交互、穿戴设备和隐私敏感环境。
7.4.2 模型压缩与加速
模型压缩与加速包括剪枝、量化、蒸馏和高效算子设计等方法，目的是在尽量保持性能的前提下降低计算开销。随着硬件平台多样化，这类技术将持续成为研究重点。