17 天前

ScribbleVC:基于草图监督的医学图像分割方法及其视觉类别嵌入

Zihan Li, Yuan Zheng, Xiangde Luo, Dandan Shan, Qingqi Hong
ScribbleVC:基于草图监督的医学图像分割方法及其视觉类别嵌入
摘要

医学图像分割在临床决策、治疗规划和疾病监测中发挥着至关重要的作用。然而,由于高质量标注数据的缺乏、成像噪声以及患者间解剖结构的差异等因素,实现精准的医学图像分割仍面临巨大挑战。此外,现有标签高效方法与全监督方法之间的性能差距依然显著。为应对上述挑战,本文提出了一种新型的笔画监督医学图像分割框架——ScribbleVC,该框架通过多模态信息增强机制,融合视觉特征与类别嵌入,实现更有效的特征表达。同时,ScribbleVC统一利用卷积神经网络(CNN)特征与Transformer特征,以提升视觉特征的提取能力。所提方法将基于笔画的标注方式与分割网络及类别嵌入模块相结合,生成高精度的分割掩码。我们在三个基准数据集上对ScribbleVC进行了评估,并与当前最先进的方法进行了对比。实验结果表明,该方法在分割精度、鲁棒性及计算效率方面均优于现有方法。相关数据集与代码已开源至GitHub。