15 天前

语言作为查询用于指代视频目标分割

Jiannan Wu, Yi Jiang, Peize Sun, Zehuan Yuan, Ping Luo
语言作为查询用于指代视频目标分割
摘要

参考视频目标分割(Referring Video Object Segmentation, R-VOS)是一项新兴的跨模态任务,旨在根据语言描述在视频的所有帧中准确分割出对应的目标对象。本文提出了一种基于Transformer的简洁且统一的框架,称为ReferFormer。该方法将语言描述视为查询(queries),并直接关注视频帧中与之最相关的内容区域。具体而言,我们引入了一组数量较少、基于语言条件生成的对象查询作为Transformer的输入。通过这种方式,所有查询被强制仅用于定位被语言所指代的目标对象。这些查询最终被转换为动态核(dynamic kernels),以捕捉关键的对象级信息,并作为卷积滤波器,从特征图中生成分割掩码。由于查询在帧间具有天然的对应关系,因此目标跟踪过程也得以自然实现。这一机制极大简化了整体流程,且整个端到端框架与以往方法有显著差异。在Ref-Youtube-VOS、Ref-DAVIS17、A2D-Sentences和JHMDB-Sentences等多个基准数据集上的大量实验验证了ReferFormer的有效性。在Ref-Youtube-VOS数据集上,使用ResNet-50作为主干网络时,ReferFormer在不依赖额外技巧(bells and whistles)的情况下取得了55.6的J&F(平均交并比与F值)成绩,相比此前的最先进方法提升了8.4个百分点。此外,当采用强大的Swin-Large主干网络时,ReferFormer在所有现有方法中取得了最高的J&F值64.2。同时,在A2D-Sentences和JHMDB-Sentences数据集上,ReferFormer分别取得了55.0 mAP和43.7 mAP的优异表现,显著超越了先前方法,优势明显。代码已公开,可访问:https://github.com/wjn922/ReferFormer。