基于连接注意力的金字塔图网络用于基于区域的一次性语义分割

单样本图像分割旨在仅利用一张训练图像对新类别进行分割任务。其难点在于，图像分割具有结构化数据表示，从而导致消息传递过程呈现多对多的复杂关系。以往的方法通常通过将支持图像数据压缩为全局描述符，将其简化为一对多的问题。然而，这种混合的全局表示会丢失个体元素的数据结构和信息。本文提出采用图结构建模结构化分割数据，并引入注意力图推理机制，实现从支持图像到查询图像之间的标签信息传播。图注意力机制通过学习图节点间连接的注意力权重，建立结构化数据中元素与元素之间的对应关系。为进一步捕捉不同语义层级的对应关系，我们进一步设计了一种类似金字塔的结构，将不同尺度的图像区域建模为图节点，并在多个层级上进行图推理。在PASCAL VOC 2012数据集上的实验表明，所提出的网络显著优于基线方法，在1-shot与5-shot分割基准上均达到了新的最先进性能。