摘要
本文提出了一种新颖的注意力图神经网络（Attentive Graph Neural Network, AGNN），用于零样本视频对象分割（Zero-Shot Video Object Segmentation, ZVOS）。所提出的AGNN将该任务重新建模为在视频图上进行迭代信息融合的过程。具体而言，AGNN构建了一个全连接图结构，将视频帧表示为节点，任意帧对之间的关系表示为边。帧间成对关系由可微的注意力机制进行建模。通过参数化的消息传递机制，AGNN能够高效地捕捉并挖掘视频帧之间更为丰富且高阶的关联关系，从而实现对视频内容更全面的理解以及更精确的前景对象估计。在三个主流视频分割数据集上的实验结果表明，AGNN在各项任务中均达到了新的最先进性能。为进一步验证该框架的泛化能力，本文还将AGNN扩展至另一项任务：图像对象共分割（Image Object Co-Segmentation, IOCS）。在两个著名的IOCS数据集上的实验再次验证了AGNN模型的优越性。大量实验证实，AGNN能够有效学习视频帧之间或相关图像之间的潜在语义与外观关联，并成功发现共有的语义对象。