7 天前

SOLQ:通过学习查询进行目标分割

Bin Dong, Fangao Zeng, Tiancai Wang, Xiangyu Zhang, Yichen Wei
SOLQ:通过学习查询进行目标分割
摘要

本文提出了一种端到端的实例分割框架。基于近期提出的DETR [1],我们所提出的SOLQ方法通过学习统一的查询(query)实现目标分割。在SOLQ中,每个查询对应一个目标对象,并具备多种表征形式:类别、位置与掩码。这些学习得到的对象查询能够以统一的向量形式,同时完成分类、边界框回归与掩码编码任务。在训练阶段,掩码向量通过原始空间掩码的压缩编码进行监督;在推理阶段,生成的掩码向量可通过压缩编码的逆过程直接转换为空间掩码。实验结果表明,SOLQ能够达到当前最先进的性能,超越大多数现有方法。此外,统一查询表征的联合学习显著提升了DETR的检测性能。我们期望SOLQ能成为基于Transformer的实例分割任务的一个强有力基线模型。代码已开源,地址为:https://github.com/megvii-research/SOLQ。

SOLQ:通过学习查询进行目标分割 | 最新论文 | HyperAI超神经