2 个月前

具有部件感知能力的提示性分割任意模型用于自适应分割

Chenhui Zhao; Liyue Shen
具有部件感知能力的提示性分割任意模型用于自适应分割
摘要

精准医疗,例如通过医学图像分析辅助的患者适应性治疗,对分割算法在适应新患者方面提出了新的挑战,这是由于不同患者之间存在较大的变异性以及每位患者的注释数据有限。在这项工作中,我们提出了一种数据高效的分割算法,即基于部分感知的提示分割任意模型($P^2SAM$)。无需任何模型微调,$P^2SAM$ 仅依赖单次患者特定数据即可实现无缝适应新患者。我们引入了一种新颖的部分感知提示机制,该机制根据单次数据的部分级特征选择多点提示,可以广泛集成到不同的可提示分割模型中,如 SAM 和 SAM 2。此外,为了确定每种特定情况下的最佳部分数量,我们提出了一种分布引导的检索方法,进一步增强了部分感知提示机制的鲁棒性。$P^2SAM$ 在两种不同的患者适应性分割应用中分别提高了 +8.0% 和 +2.0% 的平均 Dice 系数。此外,$P^2SAM$ 在自然图像领域的其他自适应分割任务中也表现出令人印象深刻的泛化能力,例如在个性化对象分割任务中提高了 +6.4% 的 mIoU。代码可在以下地址获取:https://github.com/Zch0414/p2sam

具有部件感知能力的提示性分割任意模型用于自适应分割 | 最新论文 | HyperAI超神经