12 天前

自引导与跨引导学习在少样本分割中的应用

Bingfeng Zhang, Jimin Xiao, Terry Qin
自引导与跨引导学习在少样本分割中的应用
摘要

少样本分割因其能够仅用少量标注样本即可实现未见物体类别的分割而受到广泛关注。现有大多数方法采用掩码全局平均池化(Masked Global Average Pooling, GAP)将标注的支持图像编码为特征向量,以辅助查询图像的分割。然而,该流程不可避免地因平均操作而丢失部分具有判别性的信息。本文提出一种简单但有效的自引导学习方法,旨在挖掘这些丢失的关键信息。具体而言,通过对标注的支持图像进行初步预测,将被覆盖的前景区域与未被覆盖的前景区域分别通过掩码GAP编码为原始支持向量和辅助支持向量。通过融合原始与辅助支持向量,显著提升了查询图像的分割性能。受1-shot分割中自引导模块的启发,我们进一步提出了适用于多样本(multi-shot)分割的交叉引导模块。该模块在推理阶段通过融合多个标注样本的预测结果,使高质量支持向量的贡献更大,而低质量支持向量的贡献相应降低,从而提升最终分割结果的准确性,且无需重新训练。大量实验表明,所提方法在PASCAL-5i和COCO-20i两个数据集上均取得了新的最先进性能。

自引导与跨引导学习在少样本分割中的应用 | 最新论文 | HyperAI超神经