摘要
人类可以轻松地分割移动物体而无需知道它们是什么。这种“物性”（objectness）可以从连续的视觉观察中浮现出来的观点激励我们从无标签视频中同时建模分组和运动。我们的假设是，视频中的不同视角是由移动组件关联的同一场景的不同视图，正确的区域分割和区域流将允许相互视角合成，这可以通过数据本身进行检查而无需任何外部监督。我们的模型从两个独立的路径开始：一个外观路径，输出单个图像的基于特征的区域分割；一个运动路径，输出图像对的运动特征。然后，这两个路径在一种称为“段流”（segment flow）的联合表示中结合，该表示在每个区域内汇集流偏移量，并为整个场景提供移动区域的大致描述。通过训练模型以最小化基于段流的视角合成误差，我们的外观路径和运动路径自动学习了区域分割和流估计，而无需分别从低级边缘或光流构建这些特征。我们的模型展示了外观路径中令人惊讶的“物性”涌现现象，在零样本图像对象分割、带有无监督测试时自适应的视频移动对象分割以及通过有监督微调实现的语义图像分割方面超越了先前的工作。我们的工作是首个真正端到端的零样本视频对象分割方法。它不仅开发了用于分割和跟踪的一般“物性”，而且在没有增强工程的情况下优于流行的基于图像的对比学习方法。