HyperAIHyperAI

Command Palette

Search for a command to run...

MDQE:通过挖掘判别性查询嵌入实现对挑战性视频中遮挡实例的分割

Minghan Li Shuai Li Wangmeng Xiang Lei Zhang

摘要

尽管取得了显著进展,基于逐片段(per-clip)输入的视频实例分割(Video Instance Segmentation, VIS)方法在处理存在物体遮挡和场景拥挤的复杂视频时仍表现不佳。其主要原因在于,现有方法中的实例查询(instance queries)难以有效编码实例的判别性特征嵌入,导致基于查询的分割器难以区分这些“困难”实例。为解决上述问题,本文提出一种判别性查询嵌入挖掘方法(Mining Discriminative Query Embeddings, MDQE),以实现对复杂视频中被遮挡实例的精准分割。具体而言,我们首先通过融合空间上下文信息以及帧间物体运动关系,初始化对象查询的位置嵌入与内容特征;其次,提出一种实例间掩码排斥损失(inter-instance mask repulsion loss),用于拉远目标实例与其邻近非目标实例之间的距离,增强实例间的区分能力。所提出的MDQE是首个在逐片段输入设置下,于复杂视频数据集上达到当前最优性能的VIS方法,同时在简单视频上也展现出具有竞争力的性能表现。实验结果表明,采用ResNet-50主干网络的MDQE在OVIS和YouTube-VIS 2021数据集上的掩码平均精度(mask AP)分别达到33.0%和44.5%。MDQE的代码已开源,可访问:\url{https://github.com/MinghanLi/MDQE_CVPR2023}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MDQE:通过挖掘判别性查询嵌入实现对挑战性视频中遮挡实例的分割 | 论文 | HyperAI超神经