2 个月前
DMC-Net:生成判别性运动线索以实现快速压缩视频动作识别
Zheng Shou; Xudong Lin; Yannis Kalantidis; Laura Sevilla-Lara; Marcus Rohrbach; Shih-Fu Chang; Zhicheng Yan

摘要
运动在视频理解中已被证明是有用的,其中运动通常由光流表示。然而,从视频帧中计算光流非常耗时。近期的研究直接利用压缩视频中现成的运动向量和残差来表示运动,无需额外成本。虽然这种方法避免了光流计算,但也会降低准确性,因为运动向量存在噪声且分辨率显著降低,这使得它成为一种区分度较低的运动表示方法。为了解决这些问题,我们提出了一种轻量级生成网络,该网络可以减少运动向量中的噪声并捕捉精细的运动细节,从而实现更具区分性的运动线索(Discriminative Motion Cue, DMC)表示。由于光流是一种更为准确的运动表示方法,我们训练DMC生成器使用重建损失和生成对抗损失来近似光流,并与下游的动作分类任务联合进行。在三个动作识别基准数据集(HMDB-51、UCF-101 和 Kinetics 的一个子集)上的广泛评估证实了我们方法的有效性。我们的完整系统包括生成器和分类器,被称为DMC-Net,在推理时其准确率接近使用光流的方法,并且运行速度比使用光流快两个数量级。