2 个月前

猜测运动对象:通过预测运动实现无监督视频和图像分割

Subhabrata Choudhury; Laurynas Karazija; Iro Laina; Andrea Vedaldi; Christian Rupprecht
猜测运动对象:通过预测运动实现无监督视频和图像分割
摘要

通过光流测量的运动为在图像和视频中发现和学习物体提供了强大的线索。然而,与使用外观相比,运动方法存在一些盲点,例如当物体静止时会变得不可见。在这项工作中,我们提出了一种结合基于运动和基于外观分割优势的方法。我们建议使用预测可能包含简单运动模式区域的预训练任务来监督图像分割网络,这些区域因此很可能对应于物体。由于模型仅使用单幅图像作为输入,我们可以将其应用于两种场景:无监督视频分割和无监督图像分割。我们在视频上取得了最先进的结果,并在包含新物体的静态图像上验证了该方法的有效性。此外,我们还尝试了不同的运动模型和光流主干网络,并发现该方法对这些变化具有鲁棒性。项目页面和代码可在 https://www.robots.ox.ac.uk/~vgg/research/gwm 获取。

猜测运动对象:通过预测运动实现无监督视频和图像分割 | 最新论文 | HyperAI超神经