HyperAIHyperAI

Command Palette

Search for a command to run...

BoxVIS:基于框标注的视频实例分割

Minghan Li Lei Zhang

摘要

在视频中对像素级目标掩码进行标注成本高昂且耗时费力。因此,现有视频实例分割(VIS)数据集中像素级标注的数量有限,制约了训练所得VIS模型的泛化能力。作为一种替代方案,使用边界框(bounding boxes)标注视频中的实例更为经济高效。受近期基于边界框监督的图像实例分割方法取得成功的启发,我们将当前最先进的像素级监督VIS模型迁移至边界框监督的VIS(BoxVIS)基准框架中,结果发现性能出现轻微下降。为此,我们从两个方面提出改进策略:首先,提出一种基于框中心引导的时空成对亲和力(Spatial-Temporal Pairwise Affinity, STPA)损失函数,以提升实例掩码预测在空间与时间维度上的一致性;其次,通过整合现有VIS基准中的视频数据,并将COCO数据集中的图像转换为短时伪视频片段,构建了一个规模更大的边界框标注VIS数据集(BVISD)。结合所提出的BVISD数据集与STPA损失函数,我们训练的BoxVIS模型在YouTube-VIS 2021和OVIS验证集上分别取得了43.2%和29.0%的掩码平均精度(mask AP)。该模型仅需现有像素级监督VIS模型约16%的标注时间和成本,即可实现与当前最先进像素监督模型相当的实例掩码预测性能,并展现出更优的泛化能力。代码与数据集详见:\url{https://github.com/MinghanLi/BoxVIS}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供