摘要
我们提出了一种从RGB数据中识别人类活动的方法，该方法在测试时不需要依赖任何姿态信息，并且内部也不显式计算姿态信息。相反，一个视觉注意力模块学会了预测每帧中的窥视序列。这些窥视点对应于场景中与分类活动相关的兴趣点。对窥视位置没有强制空间一致性，这使得模块能够在每一帧中探索不同的点，并更好地优化审视视觉信息的过程。跟踪和顺序整合这种非结构化数据是一项挑战，我们通过将窥视点集合与一组递归跟踪/识别工作器分离来解决这一问题。这些工作器接收窥视点，共同执行后续的运动跟踪和活动预测。窥视点被软分配给工作器，利用外部存储模块在空间、时间和特征空间中优化分配的一致性。不进行硬决策，即每个窥视点都被分配给所有现有的工作器，但重要性不同。我们的方法在目前最大的人类活动识别数据集——NTU RGB+D数据集上超越了现有最先进方法，并在一个较小的人类动作识别数据集——Northwestern-UCLA多视角3D动作数据集上也表现出色。我们的代码已公开发布在https://github.com/fabienbaradel/glimpse_clouds。