HyperAIHyperAI

Command Palette

Search for a command to run...

RANet:快速视频目标分割的排序注意力网络

Ziqin Wang; Jun Xu; Li Liu; Fan Zhu; Ling Shao

摘要

尽管在线学习(OL)技术提高了半监督视频对象分割(VOS)方法的性能,但其巨大的时间成本极大地限制了这些方法的实际应用。基于匹配和基于传播的方法通过避免使用OL技术而实现了更快的速度,然而,由于匹配错误和漂移问题,它们的精度受到了限制。在本文中,我们开发了一种实时且非常准确的排序注意力网络(RANet)用于VOS。具体而言,为了整合基于匹配和基于传播方法的优势,我们采用编码器-解码器框架以端到端的方式学习像素级相似性和分割。为了更好地利用相似性图,我们提出了一种新颖的排序注意力模块,该模块能够自动对这些图进行排序和选择,从而实现细粒度的VOS性能提升。在DAVIS-16和DAVIS-17数据集上的实验表明,我们的RANet在速度和精度之间达到了最佳平衡,例如,在DAVIS-16上每帧仅需33毫秒且J&F指标达到85.5%。结合OL技术后,我们的RANet在DAVIS-16上的J&F指标达到了87.1%,超过了现有的最先进VOS方法。代码可在https://github.com/Storife/RANet 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供