2 个月前
VideoGraph:识别视频中的长时间人类活动
Hussein, Noureldien ; Gavves, Efstratios ; Smeulders, Arnold W. M.

摘要
许多人类活动需要几分钟才能展开。为了表示这些活动,相关研究通常选择统计池化方法,但这种方法忽略了时间结构。另一些研究则选择了卷积方法,如卷积神经网络(CNN)和非局部网络(Non-Local)。虽然这些方法在学习时间概念方面取得了成功,但在建模几分钟长的时间依赖关系方面仍显不足。我们提出了一种名为VideoGraph的方法,旨在结合两者的优点:既能表示几分钟长的人类活动,又能学习其潜在的时间结构。VideoGraph通过图结构来表示人类活动,其中图的节点和边完全从视频数据集中学习得到,这使得VideoGraph适用于没有节点级注释的问题。实验结果表明,在Epic-Kitchens和Breakfast基准测试中,VideoGraph相比相关工作有显著改进。此外,我们还证明了VideoGraph能够在几分钟长的视频中有效学习人类活动的时间结构。