16 天前

自监督少样本语义分割:一种无需标注的方法

Sanaz Karimijafarbigloo, Reza Azad, Dorit Merhof
自监督少样本语义分割:一种无需标注的方法
摘要

少样本语义分割(Few-shot Semantic Segmentation, FSS)在医学图像分析领域具有巨大潜力,能够在训练数据极为有限的情况下实现精准的目标分割。然而,现有FSS方法普遍依赖于标注的语义类别,这使其难以适用于医学图像,因为医学图像中的标注数据通常极为稀缺。为应对这一挑战,本文提出多项创新性贡献:首先,受谱分解方法的启发,我们将图像分解问题重新建模为图划分任务。通过分析自监督网络所提取特征亲和矩阵对应的拉普拉斯矩阵的特征向量,从支持图像中估计出目标对象的分布特性。其次,我们提出一种全新的自监督少样本分割框架,该框架完全不依赖任何人工标注。相反,它通过自适应地利用支持图像中提取的特征向量来估计查询图像的掩码。该方法彻底消除了对人工标注的依赖,因而特别适用于标注数据稀缺的医学图像场景。第三,为进一步提升基于支持图像信息对查询图像的解码能力,我们引入了一种多尺度大卷积核注意力模块。该模块能够有选择性地强化相关特征与细节信息,显著优化分割过程,从而实现更精确的目标边界刻画。在自然图像与医学图像数据集上的实验结果表明,所提方法在效率与性能方面均表现出色。此外,该方法具备良好的通用性与模型无关性,可无缝集成于多种深度神经网络架构中。相关代码已公开发布于 GitHub:https://github.com/mindflow-institue/annotation_free_fewshot。