SAM2-UNet：Segment Anything 2 作为自然图像和医学图像分割的强大编码器

图像分割在视觉理解中发挥着重要作用。近年来，新兴的视觉基础模型在各种任务上不断取得优异的性能。在此背景下，本文证明了 Segment Anything Model 2 (SAM2) 可以作为 U 形分割模型的强大编码器。我们提出了一种简单而有效的框架，称为 SAM2-UNet，用于多功能图像分割。具体而言，SAM2-UNet 采用了 SAM2 的 Hiera 主干作为编码器，而解码器则使用经典的 U 形设计。此外，编码器中插入了适配器，以实现参数高效的微调。初步实验表明，在各种下游任务（如伪装物体检测、显著物体检测、海洋动物分割、镜面检测和息肉分割）中，我们的 SAM2-UNet 能够轻松超越现有的专门化最先进方法，无需复杂的附加技术。项目页面：\url{https://github.com/WZH0120/SAM2-UNet}。