1 基本概念
动作识别是利用计算机对动态过程进行理解的一类技术，目标是从视频、图像序列、传感器信号或其他输入中，自动判断个体或物体正在执行的动作、姿态及相关行为模式。它介于计算机视觉、模式识别与机器学习之间，既关注“看见什么”，也关注“发生了什么”。
1.1 定义与范围
从技术上看，动作识别强调对时间变化过程的分析，而不仅是对静态外观的判断。其范围通常包括人体动作、手势、群体行为以及某些物体操作过程，如拿取、推拉、装配等。不同应用场景对识别粒度的要求不同，有的只需区分“走路”和“跑步”，有的则需要识别更细的动作阶段。
1.2 研究对象
动作识别的研究对象主要可以分为人体动作、群体行为和物体操作动作三类。它们在动作结构、数据来源与建模方式上各有特点，但都依赖对动态信息的有效提取与判别。
1.2.1 人体动作
人体动作指单个个体在一定时间内完成的运动过程，如行走、挥手、弯腰、跳跃等。这类对象最常见，也最适合用于基准研究和算法验证。由于人体动作往往具有连续性，识别时通常需要综合空间外观与时间演化信息。
1.2.2 群体行为
群体行为关注多人共同形成的动作模式，例如排队、聚集、奔跑、协作搬运等。与单人动作相比，群体行为更强调个体之间的相对位置、交互关系和整体趋势，因此常用于公共场景分析与事件理解。
1.2.3 物体操作动作
物体操作动作是指人对外部物体实施的动作，如打开、放置、旋转、按压等。这类识别任务不仅要判断人的动作，还需要理解物体状态变化，因此常结合手部姿态、接触关系和物体轨迹进行分析。
1.3 相关术语
动作识别领域中常出现“动作”“行为”“姿态”等相近概念，它们在实际使用中有交叉，但侧重点并不相同。
1.3.1 动作
动作通常指较短时间内可观察到的具体运动行为，具有明确的起止和可辨识的运动模式。例如抬手、转身、跳跃等，往往可由单个实体完成。
1.3.2 行为
行为的范围一般比动作更宽，既可以指动作集合，也可以表示具有目的性、持续性的活动方式。比如“进食”“锻炼”常被视为行为，而其内部可能包含多个动作步骤。
1.3.3 姿态
姿态主要描述身体各部位在某一时刻的空间布局，强调静态构型而非完整过程。姿态识别常作为动作识别的重要基础，因为连续姿态变化能够反映动作的演化轨迹。
2 技术原理
动作识别通常遵循“数据采集—特征提取—模式判别”的处理流程。不同系统在数据类型、特征表达和分类方法上有所不同，但总体目标都是将原始输入映射为可解释的动作标签或行为结果。
2.1 数据采集
数据采集是动作识别的基础，决定了后续建模的输入质量。常见来源包括摄像头、惯性传感器、压力触觉设备以及多种信息联合采集方式。
2.1.1 摄像头采集
摄像头采集通过视频帧记录动作过程，能够保留较完整的外观、位置和运动信息，是应用最广的采集方式。其优点是信息丰富，缺点是受光照、视角和遮挡影响较大。
2.1.2 传感器采集
传感器采集常利用加速度计、陀螺仪、压力传感器等设备直接记录运动变化，适合穿戴式或近距离交互场景。这类数据对环境光照不敏感，但需要设备佩戴或接触，且信号处理更依赖滤波与时序分析。
2.1.3 多模态采集
多模态采集将视频、音频、传感器、骨架信息等多种来源结合起来，以弥补单一数据源的不足。通过互补信息融合，系统在复杂环境下通常能获得更稳健的识别结果。
2.2 特征提取
特征提取的作用是将原始数据转化为更适合识别的表达形式。动作识别中的特征往往同时包含外观、运动和结构信息，需要兼顾局部细节与整体趋势。
2.2.1 空间特征
空间特征主要描述某一时刻图像或信号中的静态结构，如人体轮廓、关节位置、手部形状等。这类特征有助于区分不同动作的关键构型。
2.2.2 时间特征
时间特征用于刻画动作随时间变化的规律，例如速度变化、轨迹走势和持续时长。由于动作本质上是动态过程，时间信息通常是识别准确性的关键来源。
2.2.3 时空联合特征
时空联合特征将空间布局与时间演化结合起来建模，能够同时表达“在哪里”与“如何变化”。这类特征在复杂动作、连续动作和多人交互场景中尤其重要。
2.3 模式识别方法
模式识别方法决定了系统如何根据特征做出分类或判断。随着算法演进，动作识别经历了从规则与传统机器学习到深度学习的明显转变。
2.3.1 传统机器学习方法
传统方法通常依赖人工设计特征，再使用支持向量机、决策树、k近邻、隐马尔可夫模型等分类器进行识别。其优点是原理清晰、实现相对简单，但对特征质量依赖较强。
2.3.2 深度学习方法
深度学习方法能够直接从原始或半结构化数据中学习表示，常见结构包括卷积神经网络、循环神经网络及其变体。该类方法在大规模数据上表现突出，尤其擅长处理复杂时空模式。
2.3.3 基于规则的方法
基于规则的方法依据人工设定的条件、阈值或逻辑关系进行判断，常用于特定场景下的简单识别任务。其优势是可解释性强，但灵活性有限，对环境变化适应性较弱。
3 数据类型与输入形式
动作识别的输入形式多样，不同数据类型适合不同应用环境。视频、传感器和骨架数据是三类最常见的输入，它们分别从外观、运动和结构层面提供信息。
3.1 视频数据
视频数据提供连续图像序列，是最直观的动作信息来源。系统可以从中提取外观变化、目标位置以及运动轨迹等线索。
3.1.1 单目视频
单目视频由单个摄像头采集，部署简便，适合大多数常规场景。其局限在于深度信息缺失，对三维动作和复杂遮挡的表达能力较弱。
3.1.2 多视角视频
多视角视频通过多个摄像头从不同方向同步记录动作，可减少视角偏差并增强空间理解能力。它常用于实验室环境、体育分析和高精度识别任务。
3.2 传感器数据
传感器数据通常来自可穿戴设备或嵌入式装置，能直接记录人体运动状态。由于采样频率较高，这类数据适合捕捉细微变化和连续节律。
3.2.1 加速度计数据
加速度计数据反映设备在三个方向上的加速度变化，能够用于判断走路、跑步、跌倒等动作。它常见于智能手环、手机和运动设备中。
3.2.2 陀螺仪数据
陀螺仪数据记录角速度和旋转变化，对姿态转换、转身和手腕摆动等动作尤为敏感。与加速度计结合时，常能提升动作识别的稳定性。
3.2.3 压力与触觉数据
压力与触觉数据来自接触式传感器，可反映按压、抓握、踏步或物体接触状态。它在康复训练、交互控制和机器人感知中具有实用价值。
3.3 骨架数据
骨架数据通过关键点坐标描述人体关节关系，是一种结构化程度较高的输入形式。相比原始视频，它更关注人体姿态变化，噪声相对较少。
3.3.1 关键点序列
关键点序列是按时间排列的人体关节坐标集合，通常包含头、肩、肘、腕、髋、膝、踝等位置。通过分析这些点的移动轨迹，可以推断动作类别。
3.3.2 姿态估计结果
姿态估计结果是从图像或视频中提取出的骨架结构，作为后续识别的中间表示。它将视觉信息转化为更紧凑的几何描述，便于后续建模。
4 典型方法
动作识别方法按输入和建模方式可进一步细分为基于图像、时序建模、骨架分析和传感器分析等路径。不同方法在准确性、鲁棒性和部署成本方面各有侧重。
4.1 基于图像的方法
基于图像的方法直接从视频帧或图像序列中提取信息，依赖视觉外观和运动变化进行判断。这类方法在早期研究中占据重要地位。
4.1.1 帧级分类
帧级分类将每一帧视为独立样本进行识别，再结合多个帧的结果得到动作判断。该方法实现简单，但对连续动态的表达能力有限。
4.1.2 光流分析
光流分析通过估计像素在相邻帧之间的位移来描述运动模式，适合捕捉速度和方向变化。它在动作边界检测和动态信息提取中应用广泛。
4.1.3 卷积神经网络
卷积神经网络能够自动学习图像中的层级特征，常用于提取动作相关的空间表示。配合时间建模模块后，可进一步提升对复杂动作的识别能力。
4.2 基于时序建模的方法
时序建模方法重点分析动作随时间展开的结构，适合处理具有先后顺序和持续变化特征的任务。这类方法强调序列依赖关系。
4.2.1 隐马尔可夫模型
隐马尔可夫模型通过状态转移描述动作的阶段变化，适合结构较清晰的序列任务。它在早期动作识别中较为常见，尤其适用于有限状态的行为建模。
4.2.2 循环神经网络
循环神经网络能够处理序列数据并保留历史信息，适合建模动作的连续演化。它可从前后文中学习动作上下文，但训练时可能面临梯度问题。
4.2.3 长短期记忆网络
长短期记忆网络是循环神经网络的重要改进，能更好地记忆长距离依赖关系。它常用于长时序动作、连续行为和多阶段过程的识别。
4.3 基于骨架的方法
基于骨架的方法利用人体关键点及其连边关系建模动作，具有结构清晰、计算相对高效的特点。它常用于姿态驱动的识别任务。
4.3.1 关键点图模型
关键点图模型将人体关节视为节点，将骨骼连接视为边，以图结构表达身体各部分之间的关系。该方法能够较好反映人体拓扑特征。
4.3.2 图卷积网络
图卷积网络可在图结构上进行特征传播与聚合，适合处理骨架数据中的关节依赖关系。它能够同时捕捉局部动作模式与整体姿态变化。
4.3.3 时序骨架分析
时序骨架分析关注关键点随时间的变化轨迹，常结合图模型和序列模型进行建模。它适用于持续动作、手势序列和交互行为识别。
4.4 基于传感器的方法
基于传感器的方法依赖惯性、压力或触觉信号进行判断，常见于穿戴式场景。由于数据维度相对较低，这类方法通常更易于部署。
4.4.1 传统分类器
传统分类器在传感器动作识别中常配合手工特征使用，如统计量、频域特征和窗口化描述。常用模型包括朴素贝叶斯、随机森林和支持向量机。
4.4.2 深度时序模型
深度时序模型能够直接处理连续信号，学习动作的动态规律和长期依赖。它在复杂运动模式和多通道传感数据中表现较好。
4.4.3 边缘计算方案
边缘计算方案将部分识别任务放在终端设备本地完成，以减少延迟和数据传输压力。对于实时监测和隐私敏感场景，这类方案尤为实用。
5 应用场景
动作识别已广泛应用于安全监控、交互控制、医疗辅助、体育分析以及智能家居等领域。随着传感器与算法进步，其应用边界仍在持续扩展。
5.1 安防与监控
在安防与监控场景中，动作识别可用于发现异常举动、理解现场过程并辅助事件预警。它常与视频分析系统结合使用。
5.1.1 异常动作检测
异常动作检测旨在识别偏离常规模式的行为，如突然跌倒、奔跑或长时间徘徊等。该能力有助于提升公共空间的安全管理效率。
5.1.2 场景行为分析
场景行为分析关注特定环境中人群或个体的活动规律，可用于商场、车站、校园等场所的运行理解。它通常结合目标跟踪与事件分析技术。
5.2 人机交互
动作识别为自然交互提供了重要基础，使用户能够通过手势、身体姿态或动作序列与系统沟通。它在智能设备和沉浸式界面中尤为常见。
5.2.1 手势识别
手势识别通过识别手部或手臂动作来实现命令输入，如挥动、点击、比划等。该方式直观、快捷，适合近距离交互。
5.2.2 体感控制
体感控制利用身体动作作为控制信号，常见于游戏、演示和虚拟操作界面。它减少了对传统输入设备的依赖，增强了交互的自然性。
5.3 医疗与康复
医疗与康复领域常借助动作识别评估患者的活动能力、恢复进度和日常状态。其价值在于为客观观察提供量化依据。
5.3.1 运动康复评估
运动康复评估通过分析患者完成动作的幅度、稳定性和节律，辅助判断康复效果。该方法可用于训练反馈和疗程调整。
5.3.2 老年看护辅助
老年看护辅助可识别跌倒、起身困难、活动减少等情况，并为看护人员提供提醒。它在居家养老和护理机构中具有现实意义。
5.4 体育与娱乐
动作识别在体育训练和娱乐系统中可以提升反馈精度与互动体验。它既可用于专业分析，也可用于普通用户参与的互动应用。
5.4.1 运动姿态分析
运动姿态分析能够评估动作是否规范，如跑步步态、投掷姿势或健身动作标准性。通过反馈关节轨迹和节奏，系统可帮助改善训练质量。
5.4.2 游戏交互系统
游戏交互系统利用动作作为控制输入，增强沉浸感与参与度。玩家可通过身体移动、手势或姿态完成操作，使交互方式更加多样。
5.5 智能家居与可穿戴设备
在智能家居和可穿戴设备中，动作识别可将人的活动状态转化为可执行的环境控制或健康分析信息。其重点在于低功耗与持续监测。
5.5.1 日常活动识别
日常活动识别用于判断用户处于步行、坐下、睡眠、清洁或做饭等状态。该信息可支持自动化家居响应和生活习惯分析。
5.5.2 健康监测
健康监测通过识别活动强度、运动频率和异常变化，辅助了解个体的身体状态。它常与可穿戴设备结合，形成长期记录机制。
6 评估与数据集
动作识别研究通常依赖标准化评估与公开数据集，以便比较不同方法的性能。实验设计是否合理，往往直接影响结论的可信度。
6.1 常用评价指标
评价指标用于衡量模型在识别准确性、覆盖能力和综合效果方面的表现。不同指标适用于不同任务目标。
6.1.1 准确率
准确率表示模型正确识别样本所占比例，适用于类别分布较均衡的场景。它直观易懂，但在样本不平衡时可能不够全面。
6.1.2 召回率
召回率衡量模型找出正类样本的能力，适合关注漏检代价较高的任务。对于异常动作检测和医疗辅助等场景尤为重要。
6.1.3 F1 值
F1 值综合考虑准确率与召回率，用于平衡误报和漏报之间的关系。它常作为类别不均衡任务中的重要参考指标。
6.2 常见数据集
公开数据集为算法训练、测试与比较提供了统一基础。不同数据集在动作类别、采集条件和数据模态上差异较大。
6.2.1 动作视频数据集
动作视频数据集通常包含标注好的视频片段和动作类别，适合研究基于视觉的识别方法。它们往往涵盖多种场景、视角和动作复杂度。
6.2.2 骨架动作数据集
骨架动作数据集提供人体关键点序列，便于研究姿态驱动的识别模型。其结构化特点有利于图模型和时序模型分析。
6.2.3 传感器动作数据集
传感器动作数据集由加速度、角速度或压力信号组成，常用于可穿戴和移动设备研究。此类数据便于探索低功耗识别与实时推断。
6.3 实验设置
实验设置决定结果是否可重复、可比较。规范的划分与验证方式有助于避免偶然性，提高研究结论的稳定性。
6.3.1 训练集与测试集划分
训练集与测试集划分用于区分模型学习阶段和评估阶段，防止信息泄漏。合理划分有助于更真实地反映模型在未知样本上的表现。
6.3.2 交叉验证
交叉验证通过多轮轮换训练与测试，减少单次划分带来的偏差。它适合样本规模较小或希望获得更稳健结果的研究。
6.3.3 消融实验
消融实验通过逐步移除某些模块或特征，分析各部分对整体性能的贡献。该方法常用于验证方法设计的有效性。
7 关键挑战
动作识别虽已取得较大进展，但在复杂环境中仍面临多方面困难。识别精度、泛化能力、部署效率与数据合规性都影响其实际应用。
7.1 动作相似性
许多动作在局部外观或短时序变化上十分接近，如走路与慢跑、挥手与指向等。相似动作之间的细微差别容易造成误判。
7.2 视角变化
同一动作在不同拍摄角度下可能呈现明显不同的视觉特征。视角变化会削弱模型的稳定性，尤其对基于图像的方法影响较大。
7.3 遮挡与噪声
遮挡会使关键部位不可见，噪声则可能干扰传感器或视频信号的稳定性。二者都会降低特征提取的准确性，并增加识别难度。
7.4 个体差异
不同人的体型、习惯、速度和动作风格存在差异，导致同一动作的表现形式不完全一致。模型若缺乏足够泛化能力，容易对特定个体过拟合。
7.5 实时性与部署
很多应用要求系统在低延迟条件下完成识别，这对模型大小、计算资源和推理速度提出了要求。如何兼顾精度与效率，是工程落地中的关键问题。
7.6 隐私与数据安全
动作识别常涉及个人影像、位置和生活习惯等敏感信息，因而需要重视数据保护。合理的数据管理、访问控制与本地处理策略，对系统应用十分重要。
8 发展趋势
动作识别正从单一模态、人工特征和离线分析，逐步走向自学习、多源融合与端侧智能。未来研究将更加关注泛化能力、效率和实际可用性。
8.1 自监督学习
自监督学习通过利用未标注数据构建预训练任务，减少对人工标注的依赖。它有望提升模型对大规模未标注动作数据的利用效率。
8.2 跨模态融合
跨模态融合将视频、骨架、音频和传感器信息联合建模，以增强对复杂动作的理解能力。多源信息互补能够提升识别稳健性。
8.3 小样本学习
小样本学习旨在让模型在少量标注样本下仍能获得较好效果。它适合新场景、新动作类别或数据采集成本较高的任务。
8.4 轻量化模型
轻量化模型通过参数压缩、结构简化或高效算子设计，降低计算开销和存储需求。它更适合移动端和嵌入式部署。
8.5 边缘智能与端侧部署
边缘智能强调在终端附近完成数据处理与决策，减少云端依赖并提升响应速度。对于实时监测、隐私保护和低功耗应用，这一方向具有明显优势。