2 个月前
UPSNet:统一全景分割网络
Yuwen Xiong; Renjie Liao; Hengshuang Zhao; Rui Hu; Min Bai; Ersin Yumer; Raquel Urtasun

摘要
本文提出了一种统一的全景分割网络(UPSNet),用于解决新提出的全景分割任务。在单一的残差网络骨干基础上,我们首先设计了一个基于可变形卷积的语义分割头和一个Mask R-CNN风格的实例分割头,这两个头部可以同时解决这两个子任务。更重要的是,我们引入了一个无参数的全景头部,通过像素级分类来解决全景分割问题。该头部首先利用前两个头部的输出概率值,然后创新性地扩展了表示方法,以支持预测额外的一个未知类别,这有助于更好地解决语义分割和实例分割之间的冲突。此外,它还应对了实例数量变化带来的挑战,并允许端到端的方式将反向传播传递到底层模块。我们在Cityscapes、COCO以及内部数据集上进行了广泛的实验,结果表明我们的UPSNet在实现更快推理的同时达到了最先进的性能。代码已发布在:https://github.com/uber-research/UPSNet