摘要
本文介绍了一项新的计算机视觉任务，称为视频实例分割（video instance segmentation）。该任务的目标是在视频中同时进行实例检测、分割和跟踪。具体来说，这是首次将图像实例分割问题扩展到视频领域。为了促进这一新任务的研究，我们提出了一种大规模基准测试集，名为YouTube-VIS，该数据集包含2883个高分辨率的YouTube视频、40类标签集以及131,000个高质量的实例掩码。此外，我们还提出了一种新的算法，称为MaskTrack R-CNN，用于解决这一任务。我们的新方法在Mask R-CNN的基础上引入了一个新的跟踪分支，以同时联合执行检测、分割和跟踪任务。最后，我们在新的数据集上评估了所提出的算法及几种强大的基线方法。实验结果清楚地展示了所提算法的优势，并揭示了未来改进的方向。我们认为，视频实例分割任务将激励研究社区在视频理解领域的进一步研究。