摘要
在基于骨架的动作识别中，图卷积网络（Graph Convolutional Networks, GCNs）通过将人体骨架建模为时空图，已经取得了显著的性能。然而，在现有的基于GCN的方法中，图的拓扑结构是手动设置的，并且在所有层和输入样本中固定不变。这可能对于层次化的GCN和动作识别任务中的多样化样本不是最优的选择。此外，骨架数据的二阶信息（骨骼的长度和方向），对于动作识别具有天然的信息丰富性和区分性，但在现有方法中很少被研究。在这项工作中，我们提出了一种新颖的双流自适应图卷积网络（Two-Stream Adaptive Graph Convolutional Network, 2s-AGCN），用于基于骨架的动作识别。我们的模型中的图拓扑结构可以通过BP算法以端到端的方式进行统一或单独学习。这种数据驱动的方法增加了模型在图构建方面的灵活性，并提高了其对各种数据样本的泛化能力。此外，我们还提出了一个双流框架，可以同时建模一阶信息和二阶信息，从而显著提升了识别精度。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的广泛实验表明，我们的模型性能明显优于当前最先进的方法。