1 定义与基本概念
关键点骨架是一种将对象的显著位置以结构化方式表示出来的方法。它通常先识别若干关键点，再按照预先约定的连接关系将这些点组织成“骨架”，从而反映人体或其他目标的姿态、局部形态及空间关系。该表示法兼具几何直观性与结构解释性，因此在图像分析、医学工程和动作理解中都较常见。
1.1 关键点的含义
关键点是指在目标对象上具有代表性的局部位置，通常对应关节、端点、轮廓转折处或器官中的特征部位。在人体场景中，常见关键点包括头部、肩部、肘部、腕部、髋部、膝部和踝部等。关键点的核心作用在于提供离散的定位信息，使系统能够据此推断整体姿态或运动状态。
1.2 骨架表示的含义
骨架表示是把离散关键点按照人体解剖逻辑或任务需要连接起来的一种图式表达。它并不直接描述所有像素或体积信息，而是用少量节点和连线概括对象的主要结构。与原始图像相比，这种方式更紧凑，也更便于算法处理和下游分析。
1.3 关键点骨架的构成要素
关键点骨架一般由节点、连接边和拓扑结构三部分组成。节点负责表示位置，连接边负责表示相邻关系，拓扑结构则定义整套骨架的组织方式。三者共同决定了骨架的可读性、完整性和适用范围。
1.3.1 节点
节点是骨架中的基本单元，对应一个具体的关键点坐标。节点可以是二维坐标，也可以是三维坐标，还可附带置信度、类别或时间戳等属性。节点数量的多少，通常取决于任务精细度和应用场景。
1.3.2 连接边
连接边用于表示两个节点之间的关联关系，常见于相邻关节之间的连线。边的设置既可能基于解剖学规则，也可能根据数据驱动方式学习得到。合理的连接边能够增强姿态理解的连续性和一致性。
1.3.3 拓扑结构
拓扑结构是骨架中节点与边的整体组织形式，决定了哪些点应当连接、连接顺序如何安排以及是否存在分支。不同拓扑会影响模型对局部动作和全局姿态的表达能力。对于同一对象，不同任务可能采用不同的拓扑定义。
1.4 关键点骨架与其他表示方法的区别
与像素级分割相比，关键点骨架更强调结构而非区域覆盖；与边界框相比，它提供的位置信息更精细；与连续形状模型相比，它更便于离散建模和计算。对于需要解释动作、关节运动或局部协调关系的任务，骨架表示通常更具优势。
2 发展背景与研究历程
关键点骨架的发展与姿态分析、目标检测、医学成像和机器学习等领域的进步密切相关。早期方法偏重规则设计和人工特征，后来逐渐过渡到统计学习与深度学习驱动的自动提取。其应用范围也从简单的人体姿态扩展到康复、手势、临床分析和交互控制等方向。
2.1 早期姿态表示方法
在早期研究中，姿态通常依赖人工设计的特征、模板匹配或几何约束进行描述。这些方法对背景、光照和视角变化较为敏感，但奠定了骨架化表示的基本思想。随着计算能力提升，研究者开始尝试更稳定的结构化方法。
2.2 计算机视觉中的关键点检测发展
计算机视觉中的关键点检测经历了从局部特征点到人体关节点的扩展。早期更多关注角点、兴趣点和局部描述子，后来逐步发展为面向人体和物体部件的定位任务。随着数据集和标注规范的成熟，关键点检测开始成为姿态估计的重要基础。
2.3 生物医学工程中的结构化人体建模
在生物医学工程中，人体结构化建模常服务于运动评估、康复监测和辅助诊断。关键点骨架能够较好地抽象肢体运动轨迹与关节关系，因此被用于分析步态、关节活动和姿势控制。与纯视觉任务相比，医学场景更强调准确性、可重复性和临床解释。
2.4 深度学习推动下的关键点骨架演进
深度学习使关键点检测、骨架连接和时序建模的性能显著提升。卷积网络、图神经网络和时空模型相继被引入，使系统能够自动学习复杂姿态模式。与此同时，三维重建、多模态融合和实时推理也推动了骨架表示向更高精度、更强鲁棒性方向发展。
3 结构类型
关键点骨架可按维度、覆盖范围、对象数量和形变特性等维度进行分类。不同结构类型适用于不同任务，也决定了数据获取方式与算法设计思路。
3.1 二维关键点骨架
二维关键点骨架是最常见的形式，关键点以图像平面坐标表示。它适合单张图像和普通视频分析，计算成本相对较低，便于快速部署。尽管无法直接提供深度信息，但在许多姿态识别任务中已足够实用。
3.1.1 图像平面表示
在图像平面中，关键点位置通常由像素坐标描述，反映其在二维画面中的投影位置。该表示方式受拍摄角度影响较大，因此常需要结合尺度归一化或视角校正。其优点是获取方便，且适用于大量常规视频数据。
3.1.2 关节连线规则
二维骨架常采用固定连线规则，例如肩—肘—腕、髋—膝—踝等。连线规则通常遵循人体解剖结构，也可以根据应用对象进行调整。对于不同的数据集，连线数量和顺序可能存在差异。
3.2 三维关键点骨架
三维关键点骨架在二维坐标之外增加深度维度，可更真实地表达空间姿态。它适用于动作分析、运动学研究和多视角重建等场景。由于能缓解二维投影歧义，三维骨架往往具有更高的解释力。
3.2.1 空间坐标系
三维骨架通常建立在统一的空间坐标系中，关键点位置以三维坐标表达。坐标系可以是相机坐标系、世界坐标系或以人体中心为原点的局部坐标系。坐标选择会影响后续分析的稳定性和可比性。
3.2.2 深度信息融合
三维骨架常结合深度相机、多视角图像或重建算法获得深度信息。深度数据能够帮助区分前后遮挡关系，也能提升关节空间位置估计的准确性。对于快速运动或复杂姿态，深度融合尤为重要。
3.3 局部骨架与全身骨架
局部骨架通常关注某一部位，如手部、足部或脊柱区域，适合精细动作分析；全身骨架则覆盖较完整的人体结构，适用于整体姿态估计和行为识别。局部骨架精度要求更高，而全身骨架更强调整体一致性。
3.4 单人骨架与多人骨架
单人骨架处理画面中一个目标的姿态，而多人骨架需要同时识别多个个体并区分其关键点归属。后者在拥挤环境中更具挑战，容易出现身份混淆、遮挡和连接错误。多人场景下通常需要额外的分组或关联策略。
3.5 刚性骨架与可变形骨架
刚性骨架假设节点间结构关系基本稳定，适用于形变较小的目标或简化建模。可变形骨架则允许局部结构随动作发生变化，更符合真实人体运动特征。实际应用中，人体骨架通常介于两者之间，既有相对固定的拓扑，也具有可动性。
4 数据来源与获取方式
关键点骨架的数据可来自视频、医学影像、传感器或专门的动作捕捉系统。不同来源对应不同精度、成本和标注难度。实际项目中，往往需要根据场景在可用性与准确度之间做权衡。
4.1 基于视频的提取
视频是关键点骨架最常见的数据来源之一，适合动态姿态分析和连续动作识别。通过逐帧检测和时序关联，可以从普通摄像机记录中重建骨架变化。视频方式成本较低，但对遮挡和光照较敏感。
4.1.1 单目视频
单目视频只使用一个摄像头获取画面，部署简单、普适性强。其局限在于深度信息缺失，因此三维姿态恢复通常需要额外推断。尽管如此，在大量日常场景中，单目视频仍是最实用的输入形式之一。
4.1.2 多目视频
多目视频通过多个视角同步采集同一对象，有利于提高空间定位精度。不同视角之间可互补遮挡信息，并为三维重建提供支持。此类方案通常对同步性、标定和设备布置要求更高。
4.2 基于医学影像的提取
医学影像可为关键点定位提供更稳定的内部结构信息，常用于骨骼、关节和器官相关分析。与自然图像相比，医学影像的噪声模式和成像机制更复杂，因此提取流程也更专业化。
4.2.1 X线图像
X线图像常用于观察骨性结构，适合分析骨骼对齐、关节间隙和整体姿势。由于二维投影会压缩空间关系，关键点提取时需要考虑重叠和遮挡问题。其优势在于对骨结构显示清晰。
4.2.2 CT与MRI数据
CT与MRI可提供断层或体数据，适合精细观察组织结构和内部解剖关系。基于这类数据提取关键点骨架，有助于构建更准确的三维模型。MRI更适合软组织观察，而CT在骨结构呈现上通常更直观。
4.3 基于可穿戴传感器的重建
加速度计、陀螺仪和惯性测量单元等可穿戴传感器，可记录人体运动的方向、速度和角度变化。通过与运动模型结合，可重建部分骨架姿态。该方式不依赖光学环境，适用于遮挡较多或光照不稳定的场景。
4.4 基于动作捕捉系统的标注
动作捕捉系统能够高精度记录关键点运动轨迹，常作为训练数据或验证基准使用。它通常依赖反光标记、红外相机或专用传感装置。虽然设备成本较高，但获得的数据质量较好。
4.5 手工标注与半自动标注
手工标注仍是许多数据集构建的重要环节，尤其在医学和小样本场景中更为常见。半自动标注则结合模型初始预测与人工修正，提高效率并减少重复劳动。标注质量直接影响后续骨架模型的稳定性。
5 关键算法与建模方法
关键点骨架相关算法主要包括关键点检测、骨架连接、时序建模和三维重建等环节。不同方法可以单独使用，也常作为完整流程中的不同模块。近年来，端到端学习与结构约束结合成为常见趋势。
5.1 关键点检测
关键点检测是骨架生成的第一步，目标是从图像或视频中找出关键位置。其难点在于目标形变、遮挡、尺度变化和背景干扰。检测结果的准确性往往直接决定骨架质量。
5.1.1 热力图回归
热力图回归将关键点位置表示为概率分布图，模型输出每个像素属于某关键点的置信程度。该方法通常具有较好的定位精度，也便于处理不确定区域。后处理时一般取峰值位置作为最终坐标。
5.1.2 坐标回归
坐标回归直接预测关键点的二维或三维坐标，输出形式更简洁。其优势在于计算链路较短，但对训练稳定性和尺度归一化要求更高。实际应用中，坐标回归常与其他监督信号联合使用。
5.2 骨架连接与拓扑恢复
在得到关键点后，需要进一步判断它们之间的连接关系，以形成完整骨架。该步骤对于多人场景和局部缺失情况尤为重要。拓扑恢复的质量决定了结构是否连贯、是否符合任务需求。
5.2.1 图结构建模
图结构建模把关键点视为图中的节点，把肢体连接视为边，便于利用图算法处理关系信息。该方法适合表达非欧几里得结构，也便于引入约束和消息传递机制。很多骨架分析模型都以图为基本表示单元。
5.2.2 约束优化
约束优化通过加入长度、角度、对称性或运动连续性等规则，修正不合理的连接结果。它常用于减少断裂、交叉错误和异常姿态。与纯数据驱动方法相比，约束优化更有利于获得符合常识的骨架结构。
5.3 时序骨架建模
时序骨架建模关注关键点在连续帧中的变化规律，主要用于动作识别、步态分析和行为理解。与静态图像相比，视频中的骨架具有明显的时间关联。合理利用时序信息可显著提高理解能力。
5.3.1 运动轨迹分析
运动轨迹分析通过追踪关键点位置变化，研究速度、加速度和关节角度等动态特征。该方法常用于识别稳定动作模式或异常运动轨迹。对于重复性动作，轨迹特征通常较具代表性。
5.3.2 时空图网络
时空图网络把空间连接与时间演化同时纳入建模框架，能够学习动作中的局部协同关系。它适合处理骨架序列，因为既能表达关节间依赖，也能捕捉动作阶段变化。该类模型已成为动作识别领域的重要方向。
5.4 三维重建与姿态估计
三维重建与姿态估计旨在从二维观测恢复空间姿态。实现方式包括多视角几何、深度传感、单目推断和模型拟合等。三维结果通常更适合生物力学分析和医学评估，但对数据质量要求较高。
5.5 误差校正与鲁棒性增强
实际应用中，骨架数据常受噪声、遮挡和错误连接影响，因此需要误差校正。常见做法包括平滑滤波、时序插值、置信度筛选和异常点剔除。鲁棒性增强的目标，是让骨架在复杂场景中仍保持稳定可用。
6 应用领域
关键点骨架的应用覆盖医疗、运动、交互和行为分析等多个方向。其共同特点是利用结构化表示提取姿态信息，并将其转换为可解释的分析指标。随着传感技术和算法发展，应用边界仍在扩展。
6.1 康复医学评估
在康复医学中，骨架表示可用于观察患者动作恢复过程，评估动作是否对称、是否平稳以及是否达到预期范围。相较于纯人工观察，结构化数据更利于长期跟踪和量化比较。
6.1.1 步态分析
步态分析通过关键点轨迹研究行走过程中的节律、步幅和关节协同变化。它常用于识别步态异常、恢复进展或代偿性动作。骨架数据能够使步态特征更易计算和记录。
6.1.2 关节活动度评估
关节活动度评估关注某一关节在不同方向上的可动范围。通过跟踪相关关键点，可以估计屈伸、外展或旋转等运动幅度。该指标在康复训练和功能评定中较为常用。
6.2 运动学与生物力学分析
骨架数据可用于分析身体各部分的协同运动、力学负荷和姿态稳定性。研究者借此估计动作效率、惯性变化或受力趋势。与传统测量相比，骨架表示更容易与计算模型结合。
6.3 临床辅助诊断
在临床场景中，关键点骨架可作为辅助信息，帮助识别姿态异常、运动受限或功能失衡等现象。它一般不替代医生判断，而是为观察和统计提供更标准化的数据支持。某些系统还可用于随访比较。
6.4 手术训练与术中导航辅助
在训练场景中，骨架分析可帮助学习者理解规范动作和操作姿态。对于术中导航辅助系统，关键点骨架可用于定位设备、工具或人体参考部位，从而提高操作可视化程度。其价值主要体现在实时反馈和空间参考上。
6.5 人机交互与辅助设备控制
骨架信息常被用于手势控制、虚拟交互和辅助设备驱动。通过识别特定姿态或动作序列，系统可以响应人体意图。此类应用对实时性和识别稳定性要求较高。
6.6 动作识别与行为分析
在动作识别中，骨架比原始图像更能突出动作本身，减少背景干扰。它适用于日常行为分析、体育训练和视频理解。由于动作由结构变化构成，骨架数据往往更容易提取判别特征。
7 数据标注与标准化
关键点骨架的数据标准化对于模型训练、结果比较和跨平台共享十分重要。若命名不统一、拓扑不一致或格式混乱，往往会影响复现和互操作性。标准化工作主要涉及标注、命名、结构定义和质量控制。
7.1 标注规范
标注规范规定关键点应标在哪里、如何处理模糊区域以及缺失点如何表示。统一规范有助于减少不同标注者之间的差异。对于医学和运动数据，标注规范尤其重要，因为细微差别可能影响分析结论。
7.2 关键点命名体系
关键点命名体系用于明确每个节点的含义，例如左肩、右膝或拇指根部等。清晰的命名有助于数据交换和算法映射。不同研究或数据集之间若命名不一致，通常需要进行对照转换。
7.3 骨架拓扑定义
骨架拓扑定义说明哪些关键点应当连接、连接顺序是什么，以及是否包含附加节点。统一拓扑有利于模型迁移和结果比较。对于不同任务，拓扑可以简化，也可以细化。
7.4 数据集格式与交换标准
数据集格式决定了关键点坐标、置信度、序列长度和元信息如何存储。交换标准则影响不同软件之间能否顺利读取和使用同一数据。规范化格式通常能降低开发和维护成本。
7.5 质量控制与一致性评估
质量控制包括抽样复核、双人标注比对和异常样本筛查等步骤。一致性评估用于衡量不同标注者或不同算法输出之间的一致程度。高质量数据通常是骨架系统稳定性的基础。
8 评价指标
评价关键点骨架系统时，常从检测精度、误差大小、连接正确性、时间稳定性和实际可用性等方面综合判断。单一指标往往不足以全面反映性能，因此通常需要多维评估。
8.1 检测精度指标
检测精度指标用于衡量关键点是否被正确找出。常见做法是统计预测点落在容许范围内的比例，或比较与真实标注的匹配情况。该类指标适合检验模型的整体识别能力。
8.2 位置误差指标
位置误差指标关注预测坐标与真实坐标之间的距离差异。误差越小，说明定位越准确。三维任务中，位置误差通常更能反映空间恢复质量。
8.3 连接正确率
连接正确率用于评估关键点之间连线是否合理，尤其在多人或局部遮挡场景中很重要。若节点识别正确但连接错误，骨架仍可能失去结构意义。该指标体现了拓扑恢复能力。
8.4 时序稳定性指标
时序稳定性指标衡量骨架在连续帧中的平滑程度和一致性。若同一动作序列中关键点抖动明显，通常说明系统稳定性不足。该指标对实时视频分析和动作跟踪尤为关键。
8.5 临床可用性评估
临床可用性评估更关注结果是否便于医生或治疗师解释、是否能支持实际决策。它不仅看精度，还看可读性、重复性和工作流程适配程度。对于医疗系统来说，这类评估常比单纯算法分数更重要。
9 常见问题与技术挑战
关键点骨架在实际应用中面临多种困难，包括遮挡、噪声、个体差异和算力约束等。许多问题并非单靠单一模型即可解决，而需要数据、算法和系统设计共同配合。
9.1 遮挡与缺失关键点
当目标被遮挡时，关键点可能无法直接观测，导致骨架断裂或位置漂移。缺失点补全通常依赖上下文推断或时序信息。遮挡是多人场景和复杂环境中的常见难题。
9.2 噪声与标注偏差
图像噪声、传感器误差和人工标注不一致都会影响骨架质量。若训练数据本身存在偏差，模型也可能学习到不稳定模式。减少噪声干扰通常需要数据清洗与稳健建模并行。
9.3 不同体型与姿态变化
人体体型差异、服装变化和动作幅度不同，都会让关键点分布产生较大波动。某些模型在标准姿态上表现良好，但遇到极端姿势时精度下降。针对这一问题，通常需要更丰富的训练样本。
9.4 实时性与计算资源限制
骨架提取和分析若用于在线系统，必须兼顾速度与精度。高精度模型往往计算量较大，可能不适合低功耗设备。系统设计时常需在帧率、延迟和资源消耗之间折中。
9.5 泛化能力不足
泛化不足是指模型在新场景、新设备或新群体上表现下降。造成这一问题的原因包括训练数据单一、标注标准不统一以及域间差异较大。提升泛化能力通常需要多样化数据和更强的鲁棒学习策略。
10 典型系统与相关工具
围绕关键点骨架，已形成多种开源框架、医学分析工具和姿态估计软件。这些工具降低了研究和应用门槛，也推动了算法验证与标准化发展。不同工具在功能侧重点和支持场景上各有差异。
10.1 开源算法框架
开源算法框架通常提供关键点检测、骨架连接、时序建模等基础模块，便于研究者快速实验。它们常支持二维与三维姿态任务，也可扩展到自定义骨架结构。其优势在于便于复现和二次开发。
10.2 医学影像分析工具
医学影像分析工具可辅助读取、可视化和处理骨架相关影像数据。部分工具支持断层浏览、标注管理和结构测量，有利于医学研究和临床工作流整合。对于复杂影像，专业工具往往不可或缺。
10.3 动作捕捉与姿态估计软件
动作捕捉与姿态估计软件可将实体动作转换为骨架序列，用于分析和后处理。它们通常兼具采集、校准、显示和导出功能。部分软件还支持与虚拟场景、动画制作或康复平台联动。
10.4 数据集与基准测试平台
数据集与基准测试平台为算法比较提供统一参考。好的基准不仅包含标注数据，还会规定评价流程和测试协议。它们对于推动骨架方法的公平比较和持续迭代具有重要作用。
11 相关概念
关键点骨架与多个相邻概念密切相关，尤其是在姿态分析、图学习和生物力学建模中。理解这些概念有助于把握骨架表示在整体技术链中的位置。
11.1 姿态估计
姿态估计是从图像或视频中推断人体或目标姿势的过程，是关键点骨架生成的核心任务之一。它既可以输出关键点坐标，也可进一步恢复空间姿态。该概念通常是骨架表示的上游环节。
11.2 关键点检测
关键点检测指定位图像中具有代表性的点位，是骨架构建的基础步骤。它关注“点在哪里”，而不是“点之间如何连接”。检测质量直接影响后续骨架的准确度。
11.3 骨架动作识别
骨架动作识别是利用骨架序列判断动作类别的方法。与基于外观的视频识别相比，它更依赖结构变化和时序模式。由于背景干扰较少，这一方向在复杂场景中较有优势。
11.4 图神经网络
图神经网络是一类处理图结构数据的模型，适合分析骨架中的节点关系和传播模式。由于骨架天然可视为图，图神经网络在该领域应用广泛。它能够同时利用空间拓扑和节点属性。
11.5 生物力学模型
生物力学模型用于描述人体运动中的力、力矩和关节负荷。关键点骨架可为这类模型提供几何输入和运动约束。两者结合后，常用于更深入的运动分析与功能评估。