2 个月前

DVIS-DAQ:通过动态锚点查询改进视频分割

Yikang Zhou; Tao Zhang; Shunping Ji; Shuicheng Yan; Xiangtai Li
DVIS-DAQ:通过动态锚点查询改进视频分割
摘要

现代视频分割方法采用对象查询来执行帧间关联,并在跟踪连续出现的对象时表现出令人满意的性能,即使面对大规模运动和短暂遮挡。然而,这些方法在处理现实世界中常见的新出现和消失的对象时表现不佳,因为它们试图通过背景和前景查询之间的特征转换来建模对象的出现和消失,而这些查询之间存在显著的特征差距。我们引入了动态锚点查询(Dynamic Anchor Queries, DAQ),通过根据潜在候选对象的特征动态生成锚点查询,从而缩短锚点与目标查询之间的转换差距。此外,我们提出了一种基于查询级别的对象出现与消失模拟(Emergence and Disappearance Simulation, EDS)策略,该策略能够在不增加任何额外成本的情况下释放DAQ的潜力。最后,我们将提出的DAQ和EDS结合到DVIS中,得到了DVIS-DAQ。大量实验表明,DVIS-DAQ在五个主流视频分割基准上实现了新的最先进(State-of-the-Art, SOTA)性能。代码和模型可在以下网址获取:https://github.com/SkyworkAI/DAQ-VS。