基于运动诱导的自监督视频中物体发现

本文研究了视频中无监督物体发现的任务。先前的研究通过处理光流来分割物体，已经取得了令人鼓舞的结果。然而，以光流作为输入带来了两个缺点。首先，当物体静止或部分被遮挡时，光流无法捕捉到足够的线索。其次，由于缺乏纹理信息，仅从光流输入中建立时间连贯性具有挑战性。为了解决这些限制，我们提出了一种直接处理连续RGB帧的模型，并使用分层表示推断任意两帧之间的光流，其中透明度通道被视为分割结果。此外，为了强制物体永久性，我们在从随机配对帧推断出的掩码上应用了时间一致性损失，这些掩码反映了不同速度的运动，并鼓励模型即使在当前时间点物体没有移动的情况下也能进行分割。实验结果表明，在三个公开的视频分割数据集（DAVIS2016、SegTrackv2 和 FBMS-59）上，我们的方法优于现有的最先进方法，并且通过避免计算光流作为输入所带来的额外开销，实现了更高的计算效率。