基于姿态、运动和外观的链式多流网络在动作分类和检测中的应用

通用人类行为识别需要理解多种视觉线索。在本文中，我们提出了一种网络架构，该架构计算并整合了对行为识别最重要的视觉线索：姿态、运动和原始图像。为了实现这些线索的整合，我们引入了一个马尔可夫链模型，该模型逐次添加线索。所提出的方法不仅高效，而且适用于行为分类以及空间和时间上的行为定位。这两种贡献明显提升了各自基线方法的性能。总体而言，该方法在HMDB51、J-HMDB和NTU RGB+D数据集上实现了最先进的行为分类性能。此外，它还在UCF101和J-HMDB数据集上取得了最先进的时空行为定位结果。