使用混合Yolo-SAM 2模型进行结肠镜检查中的息肉自我提示分割

在结肠镜检查中，早期诊断和治疗息肉对于降低结直肠癌（CRC）的发病率和死亡率至关重要。然而，息肉特征的变化以及结肠镜图像和视频中的伪影给准确且高效的息肉检测和分割带来了重大挑战。本文提出了一种新的息肉分割方法，通过将“任意分割模型”（Segment Anything Model, SAM 2）与YOLOv8模型相结合来实现。我们的方法利用了YOLOv8的边界框预测，自动生成SAM 2的输入提示，从而减少了对人工标注的需求。我们在五个基准结肠镜图像数据集和两个结肠镜视频数据集上进行了详尽的测试，结果表明，我们的方法在图像和视频分割任务中均超过了现有的最先进模型。特别值得一提的是，我们的方法仅使用边界框标注就实现了高精度的分割，显著减少了标注时间和工作量。这一进展有望提高临床环境中息肉检测的效率和可扩展性。相关代码已发布在GitHub上：https://github.com/sajjad-sh33/YOLO_SAM2。