基于3D骨骼的手部活动识别的高效多流时序学习与后融合策略

识别第一人称视角下的手部活动是一项具有挑战性的任务，尤其是在数据量不足的情况下。本文提出了一种基于骨骼信息的手部活动识别新型混合学习框架，该框架由三个模块构成。首先，针对给定的手部关节位置序列，采用一种专门设计的局部与全局空间特征相结合的方法提取空间特征；其次，利用多流学习策略捕捉时间依赖性；最后，通过我们提出的后融合（Post-fusion）策略，对先前学习到的时间依赖关系进行整合，进而训练手部活动序列分类器。在两个真实世界数据集上的实验结果表明，所提方法在性能上优于现有最先进方法。为进一步验证有效性，我们还将该后融合策略与三种传统的融合基线方法进行了对比，结果表明，本方法在准确率上提升了超过2.4%。