边界去噪在视频活动定位中的应用

视频活动定位旨在理解长未剪辑视频中的语义内容并检索感兴趣的行动。检索到的行动及其起始和结束位置可用于生成精彩片段、时间动作检测等。不幸的是，学习活动的确切边界位置极具挑战性，因为时间活动在时间上是连续的，且动作之间通常没有明显的过渡。此外，事件的起始和结束定义具有主观性，这可能会混淆模型。为了解决边界模糊问题，我们提出从去噪的角度研究视频活动定位问题。具体而言，我们提出了一种名为DenoiseLoc的编码器-解码器模型。在训练过程中，从真实标签中随机生成一组带有可控噪声尺度的动作跨度。然后我们通过边界去噪尝试逆转这一过程，使定位器能够预测具有精确边界的活动，并实现更快的收敛速度。实验表明，DenoiseLoc在多个视频活动理解任务中取得了进展。例如，在QV-Highlights数据集上，平均mAP提高了12.36%，在THUMOS'14数据集上的[email protected]提高了1.64%。此外，DenoiseLoc在TACoS和MAD数据集上实现了最先进的性能，但其预测次数远少于其他当前方法。