从无标签视频中学习视频对象分割

我们提出了一种新型的视频对象分割（Video Object Segmentation, VOS）方法，该方法旨在从无标注视频中学习对象模式，与大多数依赖大量标注数据的现有方法形成鲜明对比。为此，我们引入了一个统一的无监督/弱监督学习框架，命名为MuG（Multi-granularity Unsupervised/Weakly supervised Learning Framework），该框架能够从多个粒度层次全面捕捉VOS任务的内在特性。所提方法不仅有助于深化对VOS中视觉模式的理解，还能显著降低对人工标注数据的依赖。得益于精心设计的网络架构与强大的表征学习能力，该模型可广泛适用于多种VOS场景，包括对象级零样本VOS、实例级零样本VOS以及单样本VOS。实验结果表明，该方法在上述各类场景下均展现出优异的性能，同时验证了MuG在利用无标注数据进一步提升分割精度方面的巨大潜力。