双原型注意力机制在无监督视频对象分割中的应用

无监督视频对象分割（VOS）旨在检测并分割视频中最显著的对象。无监督VOS的主要技术包括：1）外观和运动信息的协作；2）不同帧之间的时序融合。本文提出两种基于原型的注意力机制，即跨模态注意力（Inter-Modality Attention, IMA）和跨帧注意力（Inter-Frame Attention, IFA），通过在不同模态和帧之间进行密集传播来整合这些技术。IMA通过相互精炼，密集地整合来自不同模态的上下文信息。IFA将视频的全局上下文注入查询帧中，从而充分利用多帧中的有用特性。在公共基准数据集上的实验结果表明，我们提出的方法在性能上显著优于所有现有方法。此外，通过消融研究对所提出的两个组件进行了充分验证。