Command Palette
Search for a command to run...
SAM 2:图像与视频中的任意分割
SAM 2:图像与视频中的任意分割
摘要
我们提出Segment Anything Model 2(SAM 2),这是一个面向图像与视频中可提示视觉分割任务的基础模型。我们构建了一个数据引擎,通过用户交互不断优化模型与数据,从而收集了迄今规模最大的视频分割数据集。我们的模型采用简洁的Transformer架构,并引入流式记忆机制,支持实时视频处理。在该数据集上训练的SAM 2在多种任务中均表现出色。在视频分割任务中,相比以往方法,我们实现了更高的精度,同时交互次数减少至原来的三分之一。在图像分割任务中,我们的模型不仅更准确,且速度比Segment Anything Model(SAM)快6倍。我们相信,本研究提供的数据集、模型及关键洞见,将为视频分割及相关感知任务树立一个重要里程碑。我们已发布该模型的版本、数据集以及一个交互式演示系统。