使用伪标签的半监督视频显著目标检测

基于深度学习的视频显著目标检测最近取得了巨大成功，其性能显著优于其他任何无监督方法。然而，现有的数据驱动方法在实现这些令人鼓舞的结果时，严重依赖大量像素级标注的视频帧。本文中，我们利用伪标签解决了半监督视频显著目标检测任务。具体而言，我们提出了一种有效的视频显著性检测器，该检测器由空间细化网络和时空模块组成。基于相同的细化网络和光流运动信息，我们进一步提出了一种从稀疏标注帧生成像素级伪标签的新方法。通过利用生成的伪标签以及部分手动标注，我们的视频显著性检测器学会了用于对比度推断和连贯性增强的空间和时间线索，从而生成准确的显著图。实验结果表明，所提出的半监督方法在VOS、DAVIS和FBMS三个公开基准测试中甚至大幅超越了所有最先进的全监督方法。