2 个月前

深度视频中基于多模态多部分学习的动作识别

Shahroudy, Amir ; Wang, Gang ; Ng, Tian-Tsong ; Yang, Qingxiong
深度视频中基于多模态多部分学习的动作识别
摘要

人类动作的复杂性和多样性使得动作识别任务变得困难。一种处理这种复杂性的方法是将动作分解为身体各部位的运动学特征,并基于这些局部描述符来分析动作。本文提出了一种基于联合稀疏回归的学习方法,该方法利用结构化稀疏性将每个动作建模为来自少数身体部位的多模态特征的组合。为了表示各部位的动力学和外观特征,我们采用了一组异质的深度和骨架特征。通过提出的分层混合范数,我们将多模态多部位特征的适当结构纳入学习框架中,以正则化每个部位的结构化特征,并在它们之间应用稀疏性,从而实现群体特征选择。实验结果表明,所提出的学习方法在三个测试数据集上均优于其他方法,并在一个数据集中达到了完美的准确率。

深度视频中基于多模态多部分学习的动作识别 | 最新论文 | HyperAI超神经