17 天前
ProMISe:基于SAM的可提示医学图像分割
Jinfeng Wang, Sifan Song, Xinkun Wang, Yiyi Wang, Yiyi Miao, Jionglong Su, S. Kevin Zhou

摘要
随着分割一切模型(Segment Anything Model, SAM)的提出,基于SAM进行医学图像分割(Medical Image Segmentation, MIS)的微调方法逐渐成为研究热点。然而,由于SAM模型规模庞大,且自然图像与医学图像之间存在显著领域差异,基于微调的策略不仅成本高昂,还可能引发模型不稳定、特征破坏以及灾难性遗忘等问题。此外,部分通过微调方式将SAM迁移至特定医学领域的研究,会损害模型原有的提示(prompting)能力,严重限制其应用场景。针对上述问题,本文提出一种自动提示模块(Auto-Prompting Module, APM),该模块为基于SAM的通用模型在目标医学领域中提供欧几里得自适应提示(Euclidean adaptive prompts)。实验结果表明,此类自适应提示可显著提升SAM在无需微调情况下的医学图像分割性能。进一步地,我们提出一种新颖的非侵入式方法——增量模式迁移(Incremental Pattern Shifting, IPS),用于将SAM适配至特定医学领域。实验结果表明,IPS能够在无需微调的前提下,使SAM在医学图像分割任务中达到当前最优或具有竞争力的性能表现。通过结合上述两种方法,本文构建了一个端到端的、无需微调的可提示医学图像分割框架——ProMISe(Promptable Medical Image Segmentation)。实验验证表明,无论是单独使用APM或IPS,还是二者协同应用,均能在极低计算成本下实现优异的分割性能,且SAM的所有参数始终保持冻结状态,有效避免了微调带来的风险与开销。