HyperAIHyperAI

Command Palette

Search for a command to run...

NOVIS:端到端近在线视频实例分割的研究案例

Tim Meinhardt; Matt Feiszli; Yuchen Fan; Laura Leal-Taixe; Rakesh Ranjan

摘要

直到最近,视频实例分割(VIS)社区普遍认为离线方法通常优于逐帧在线处理。然而,近期在线方法的成功对这一观点提出了质疑,尤其是在处理具有挑战性和较长的视频序列时。我们视这项工作为对这些最新观察结果的反驳,并呼吁社区关注专门的近在线VIS方法。为了支持我们的论点,我们展示了不同处理范式的详细分析以及新的端到端可训练的NOVIS(近在线视频实例分割)方法。我们的基于 Transformer 的模型直接预测了帧片段的空间-时间掩码体积,并通过重叠嵌入在片段之间进行实例跟踪。NOVIS是首个避免任何手工设计跟踪启发式算法的近在线VIS方法。我们在现有所有VIS方法中大幅领先,并在YouTube-VIS(2019/2021)和OVIS基准测试中提供了最新的最佳结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供