Command Palette

Search for a command to run...

2 天前

SAM 3:基于概念的万物分割

SAM 3:基于概念的万物分割

摘要

我们提出了 Segment Anything Model (SAM) 3,这是一个统一模型,能够根据概念提示(concept prompts)在图像和视频中检测、分割并跟踪物体。我们将概念提示定义为短名词短语(例如“黄色校车”)、图像示例,或两者的结合。可提示概念分割(Promptable Concept Segmentation, PCS)任务接收此类提示,并输出所有匹配对象实例的分割掩码(segmentation masks)和唯一身份标识。为了推进 PCS 的发展,我们构建了一个可扩展的数据引擎,生成了一个涵盖图像和视频的高质量数据集,其中包含 400 万个唯一概念标签以及困难负样本(hard negatives)。我们的模型由一个图像级检测器和一个基于记忆的视频跟踪器组成,二者共享同一个骨干网络(backbone)。通过引入一个存在性预测头(presence head),我们将识别与定位任务解耦,从而显著提升了检测精度。SAM 3 在图像和视频 PCS 任务上的准确率达到了现有系统的两倍,并提升了前代 SAM 在视觉分割任务上的性能。我们已开源 SAM 3,同时也发布了用于可提示概念分割的新基准测试 Segment Anything with Concepts (SA-Co)。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供