基于帧间注意力的对象传播用于时序稳定的视频实例分割

视频实例分割旨在对视频中的物体进行检测、分割与跟踪。当前的方法通常将图像级分割算法扩展至时序维度，但这一做法常导致掩码在时间上不一致。本文指出，由于时序稳定性不足所引起的掩码质量下降，是制约性能的关键瓶颈。为此，我们提出一种新的视频实例分割方法，有效缓解因漏检带来的问题。由于仅依赖空间信息难以解决该问题，我们引入帧间注意力机制，利用时序上下文信息。该机制使网络能够通过邻近帧的边界框预测重新聚焦于被遗漏的物体，从而克服漏检现象。在使用Mask R-CNN作为骨干网络的情况下，我们的方法在YouTube-VIS基准测试中取得了36.0%的mAP，显著优于此前的最先进算法。此外，该方法完全为在线处理，无需依赖未来帧。代码已公开，可访问：https://github.com/anirudh-chakravarthy/ObjProp。