全景分割与联合语义和实例分割网络

我们提出了一种用于全景分割的单一网络方法。该方法通过启发式算法将一个联合训练的语义分割和实例分割网络的预测结果结合起来。联合训练是实现端到端全景分割网络的第一步，相比之前工作中分别训练和预测两个网络的方法，它更快且更节省内存。该架构包括一个由语义分割分支和实例分割分支共享的ResNet-50特征提取器。对于实例分割，采用了Mask R-CNN类型的架构，而语义分割分支则增加了金字塔池化模块（Pyramid Pooling Module）。本方法的结果已提交至COCO和Mapillary联合识别挑战赛2018。我们的方法在Mapillary Vistas验证集上取得了17.6的PQ分数，在COCO测试开发集上取得了27.2的PQ分数。