2 个月前
步骤:时空渐进学习用于视频动作检测
Xitong Yang; Xiaodong Yang; Ming-Yu Liu; Fanyi Xiao; Larry Davis; Jan Kautz

摘要
本文提出了一种时空逐步(Spatio-TEmporal Progressive, STEP)动作检测器——一种用于视频中时空动作检测的逐步学习框架。该方法从少量粗尺度提案立方体开始,通过几个步骤逐步优化这些提案以接近动作。通过利用前几步的回归输出,可以在后续步骤中逐渐获得高质量的提案(即,符合动作运动)。在每一步中,我们自适应地扩展提案的时间范围,以纳入更多相关的时序上下文。与之前一次性完成动作检测的工作相比,我们的逐步学习框架能够自然地处理动作管内的空间位移问题,因此提供了一种更为有效的时空建模方法。我们在UCF101和AVA数据集上对所提出的方法进行了广泛的评估,并展示了其优越的检测效果。值得注意的是,在仅使用11个和34个初始提案的情况下,我们的方法在这两个数据集上分别实现了75.0%和18.6%的平均精度(mAP),经过3步逐步优化后取得了显著成果。