无需时间信息的视频对象分割

视频对象分割以及一般的视频处理方法，历史上一直依赖于连续视频帧中的时间一致性与冗余性。当时间平滑性突然被打破时，例如物体被遮挡或序列中某些帧丢失，这些方法的结果可能会显著恶化，甚至完全无法产生结果。本文探讨了一种正交的方法，即独立处理每一帧，忽略时间信息。具体而言，本文解决了半监督视频对象分割的任务：在给定第一帧中物体掩码的情况下，从背景中分离出视频中的物体。我们提出了基于全卷积神经网络架构的语义单次视频对象分割（OSVOS-S），该架构能够逐步将从ImageNet中学到的通用语义信息转移到前景分割任务上，最终学习测试序列中标注的单一物体的外观（因此称为单次）。我们展示了实例级语义信息在有效结合后可以大幅改进我们之前的方法OSVOS。我们在两个最近的视频分割数据库上进行了实验，结果显示OSVOS-S不仅是最快速的方法，也是当前最先进的最准确的方法。