11 天前

基于深度度量学习的弱监督时间动作定位

Ashraful Islam, Richard J. Radke
基于深度度量学习的弱监督时间动作定位
摘要

时间动作定位是实现视频理解的重要步骤。目前大多数动作定位方法依赖于未剪辑视频,并需要对动作实例进行完整的时序标注。然而,对视频的动作标签及时间边界进行标注成本高昂且耗时。为此,我们提出一种弱监督时间动作定位方法,仅需在训练阶段使用视频级别的动作实例作为监督信号。我们设计了一个分类模块,用于为视频中的每个片段生成动作标签,同时引入一个深度度量学习模块,以学习不同动作实例之间的相似性。通过标准的反向传播算法,联合优化平衡的二元交叉熵损失与度量损失。大量实验表明,这两个模块在时间定位任务中均具有显著有效性。我们在两个具有挑战性的未剪辑视频数据集——THUMOS14 和 ActivityNet1.2 上对所提算法进行了评估。实验结果表明,我们的方法在 THUMOS14 数据集上将当前最先进方法的 mAP 提升了 6.5%(IoU 阈值为 0.5),并在 ActivityNet1.2 数据集上取得了具有竞争力的性能。

基于深度度量学习的弱监督时间动作定位 | 最新论文 | HyperAI超神经