面向视图的神经网络在基于骨架的人体动作识别中的高性能应用

基于骨架的人体动作识别近年来受到了越来越多的关注，这得益于3D骨架数据的可获取性和普及性。在基于骨架的动作识别中，一个关键挑战在于捕捉数据时存在较大的视角变化。为了减轻视角变化的影响，本文提出了一种新颖的视角适应方案，该方案以学习为基础，通过数据驱动的方式自动确定虚拟观察视角。我们设计了两种视角自适应神经网络，即基于RNN的VA-RNN和基于CNN的VA-CNN。对于每种网络，我们引入了一个新的视角适应模块，该模块学习并确定最合适的观察视角，并将骨架转换到这些视角，以便与主分类网络进行端到端的识别。消融研究表明，所提出的视角自适应模型能够将不同视角下的骨架转换为更加一致的虚拟视角，从而大大减少了视角的影响。此外，我们设计了一种双流方案（称为VA-fusion），该方案融合了两个网络的分数以提供综合预测。在五个具有挑战性的基准数据集上的广泛实验评估表明，所提出的视角自适应网络不仅有效，而且性能优于现有的先进方法。源代码可在https://github.com/microsoft/View-Adaptive-Neural-Networks-for-Skeleton-based-Human-Action-Recognition 获取。