HyperAIHyperAI

Command Palette

Search for a command to run...

SAM2-UNet:Segment Anything 2 作为自然图像和医学图像分割的强大编码器

Xinyu Xiong extsuperscript1 extsuperscript* Zihuang Wu extsuperscript2 extsuperscript* Shuangyi Tan extsuperscript3 Wenxue Li extsuperscript4 Feilong Tang extsuperscript5 Ying Chen extsuperscript6 Siying Li extsuperscript7 Jie Ma extsuperscript1 Guanbin Li extsuperscript1 extsuperscript†

摘要

图像分割在视觉理解中发挥着重要作用。近年来,新兴的视觉基础模型在各种任务上不断取得优异的性能。在此背景下,本文证明了 Segment Anything Model 2 (SAM2) 可以作为 U 形分割模型的强大编码器。我们提出了一种简单而有效的框架,称为 SAM2-UNet,用于多功能图像分割。具体而言,SAM2-UNet 采用了 SAM2 的 Hiera 主干作为编码器,而解码器则使用经典的 U 形设计。此外,编码器中插入了适配器,以实现参数高效的微调。初步实验表明,在各种下游任务(如伪装物体检测、显著物体检测、海洋动物分割、镜面检测和息肉分割)中,我们的 SAM2-UNet 能够轻松超越现有的专门化最先进方法,无需复杂的附加技术。项目页面:\url{https://github.com/WZH0120/SAM2-UNet}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供