16 天前

基于骨架的动作识别的联合混合数据增强

{Zengfu Wang, Linhua Xiang}
摘要

基于骨骼的动作识别在理解视频中人类行为方面具有重要意义,近年来已成为动作识别领域的重要研究方向。当前研究主要致力于设计更为先进的算法,以更有效地从骨骼数据中提取时空信息。然而,由于现有骨骼数据集规模较小,且缺乏有效的数据增强方法,模型训练过程中极易出现过拟合问题。为应对这一挑战,本文提出一种基于混合机制的数据增强方法——关节混合数据增强(Joint Mixing Data Augmentation, JMDA),该方法能够普遍提升各类基于骨骼的动作识别算法的有效性与鲁棒性。在空间信息处理方面,我们引入了空间混合方法(SpatialMix, SM),该方法将原始的3D骨骼离散信息投影至二维空间,并在训练过程中随机选取两个样本,对其投影后的空间信息进行混合,从而实现基于空间维度的混合数据增强。在时间信息处理方面,我们提出了时间混合方法(TemporalMix, TM)。该方法利用骨骼数据中的时间连续性特性,对原始骨骼序列进行时间重采样操作,并在训练过程中将两个随机样本的时间序列进行融合,以实现基于时间维度的混合数据增强。此外,我们深入分析了在骨骼数据中引入混合型数据增强所引发的特征不匹配(Feature Mismatch, FM)问题,并提出一种新的数据预处理方法——特征对齐(Feature Alignment, FA),有效缓解该问题,显著提升模型性能。为进一步提升模型表现,我们还设计了一种新颖的训练策略——联合训练策略(Joint Training Strategy, JTS),该策略融合多种基于混合机制的数据增强方法,实现协同优化。所提出的JMDA具有即插即用(plug-and-play)特性,广泛适用于各类基于骨骼的动作识别模型。同时,其应用不增加模型参数量,几乎不带来额外的训练开销。我们在NTU RGB+D 60和NTU RGB+D 120两个主流数据集上进行了大量实验,结果表明,所提出的JMDA方法在多种主流基于骨骼的动作识别算法上均展现出优异的性能提升与良好的鲁棒性,验证了其有效性与通用性。

基于骨架的动作识别的联合混合数据增强 | 最新论文 | HyperAI超神经