
摘要
以自我为中心的活动识别是视频分析中最具挑战性的任务之一。它需要对小物体及其操作进行细粒度的区分。尽管一些方法基于强监督和注意力机制,但它们要么消耗大量注释资源,要么未能考虑时空模式。在本文中,我们提出了一种称为LSTA(局部时空注意力)的机制,该机制能够在跟踪视频序列中的注意力时,专注于空间相关部分的特征。我们在一个端到端可训练的双流架构上展示了LSTA在以自我为中心的活动识别中的有效性,并在四个标准基准数据集上达到了最先进的性能。
以自我为中心的活动识别是视频分析中最具挑战性的任务之一。它需要对小物体及其操作进行细粒度的区分。尽管一些方法基于强监督和注意力机制,但它们要么消耗大量注释资源,要么未能考虑时空模式。在本文中,我们提出了一种称为LSTA(局部时空注意力)的机制,该机制能够在跟踪视频序列中的注意力时,专注于空间相关部分的特征。我们在一个端到端可训练的双流架构上展示了LSTA在以自我为中心的活动识别中的有效性,并在四个标准基准数据集上达到了最先进的性能。