一种新的骨架序列表示方法用于3D动作识别

本文提出了一种基于骨架序列（即人体骨架关节的3D轨迹）的3D动作识别新方法。该方法首先将每个骨架序列转换为三个片段，每个片段由若干帧组成，用于通过深度神经网络进行时空特征学习。每个片段是从骨架序列的圆柱坐标系中的一个通道生成的。生成片段的每一帧代表整个骨架序列的时间信息，并包含关节之间的一种特定空间关系。整个片段包括多个具有不同空间关系的帧，这些帧提供了人体骨架有用的空间结构信息。我们建议使用深度卷积神经网络从生成片段的帧中学习骨架序列的长期时间信息，然后利用多任务学习网络（MTLN）并行处理所有生成片段的所有帧，以结合空间结构信息进行动作识别。实验结果清楚地表明了所提出的新的表示方法和特征学习方法在3D动作识别中的有效性。