摘要
动物在进化过程中发展出了高度功能性的视觉系统来理解运动，即使在复杂环境中也能辅助感知。本文致力于开发一种计算机视觉系统，通过利用运动线索对物体进行分割，即运动分割。我们做出了以下贡献：首先，我们引入了一种简单的Transformer变体，用于将光流帧分割为主要物体和背景。其次，我们以自监督的方式训练该架构，即不使用任何手动注释。第三，我们分析了方法中的几个关键组件，并进行了详尽的消融研究以验证其必要性。第四，我们在公共基准数据集（DAVIS2016、SegTrackv2 和 FBMS59）上评估了所提出的架构。尽管仅使用光流作为输入，我们的方法仍取得了优于或可比于先前最先进自监督方法的结果，并且速度提高了近一个数量级。此外，我们在一个具有挑战性的伪装数据集（MoCA）上进行了评估，显著优于其他自监督方法，并且与顶级监督方法相比表现良好，突显了运动线索的重要性以及现有视频分割模型可能存在的偏向于视觉外观的问题。