摘要
少样本语义分割旨在仅依赖少量标注的支持图像（support images），对查询图像（query image）中的目标物体进行精确分割。以往大多数方法致力于从支持图像中挖掘更有效的类别信息，以匹配查询图像中的对应物体。然而，这些方法普遍忽视了查询图像与支持图像之间存在的类别信息差异。当两类图像中的物体表现出较大的类内多样性时，强行将支持图像中的类别信息迁移到查询图像中往往效果不佳。为解决这一问题，我们首次提出引入一个中间原型（intermediate prototype），用于同时挖掘来自支持图像的确定性类别信息以及来自查询图像的自适应类别知识。具体而言，我们设计了一种中间原型挖掘Transformer（Intermediate Prototype Mining Transformer, IPMT），通过迭代方式学习该原型。在每一层IPMT中，我们将支持图像和查询图像特征中的物体信息传播至中间原型，并利用该原型激活查询图像的特征图。通过反复迭代这一过程，中间原型与查询特征均得以逐步优化。最终，利用优化后的查询特征生成高精度的语义分割结果。在PASCAL-5i和COCO-20i两个基准数据集上的大量实验充分验证了IPMT的有效性，结果表明，该方法显著超越了此前的最先进方法。代码已开源，地址为：https://github.com/LIUYUANWEI98/IPMT。