探索人体解析模态在动作识别中的应用

基于多模态的动作识别方法在姿态和RGB模态上已经取得了很高的成功。然而，骨骼序列缺乏外观描述，而RGB图像由于模态限制而受到无关噪声的影响。为了解决这一问题，我们引入了人体解析特征图作为一种新的模态，因为它可以有选择地保留身体部位的有效语义特征，同时过滤掉大部分无关噪声。我们提出了一种新的双分支框架，称为集成人体解析和姿态网络（EPP-Net），这是首个利用骨骼和人体解析两种模态进行动作识别的方法。第一个分支是人体姿态分支，通过图卷积网络输入稳健的骨骼数据来建模姿态特征；第二个分支是人体解析分支，利用描述性的解析特征图并通过卷积主干网络来建模解析特征。这两种高级特征将通过后期融合策略有效结合，以实现更好的动作识别效果。我们在NTU RGB+D和NTU RGB+D 120基准数据集上进行了广泛的实验，结果一致验证了所提出的EPP-Net的有效性，其性能超过了现有的动作识别方法。我们的代码可在以下链接获取：https://github.com/liujf69/EPP-Net-Action。