HyperAIHyperAI

Command Palette

Search for a command to run...

STC:用于视频实例分割的时空对比学习

Zhengkai Jiang Zhangxuan Gu Jinlong Peng Hang Zhou Liang Liu Yabiao Wang Ying Tai Chengjie Wang Liqing Zhang

摘要

视频实例分割(Video Instance Segmentation, VIS)是一项需要在视频中同时完成分类、分割与实例关联的任务。现有的VIS方法通常依赖于复杂的处理流程,包括与区域提议(RoI)相关的操作或三维卷积等技术。相比之下,本文提出了一种简单且高效的单阶段VIS框架,该框架基于实例分割方法CondInst,并额外引入一个跟踪头(tracking head)。为提升实例关联的准确性,我们提出了一种新颖的双向时空对比学习策略,用于跨帧的跟踪嵌入学习。此外,还采用了一种实例级的时间一致性机制,以生成在时间上连贯的分割结果。在YouTube-VIS-2019、YouTube-VIS-2021以及OVIS-2021等多个数据集上的实验结果验证了所提方法的有效性与高效性。我们期望该框架能够为众多其他实例级视频关联任务提供一种简洁而强大的替代方案。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
STC:用于视频实例分割的时空对比学习 | 论文 | HyperAI超神经