注意力引导的统一网络用于全景分割

本文研究了全景分割（panoptic segmentation），这是一项最近提出的任务，旨在在实例级别上分割前景（FG）对象以及在语义级别上分割背景（BG）内容。现有的方法大多分别处理这两个问题，但在本文中，我们揭示了它们之间的内在联系，特别是前景对象为背景理解提供了互补线索。我们提出的方法称为注意力引导统一网络（Attention-guided Unified Network, AUNet），是一个同时进行前景和背景分割的统一框架，包含两个分支分别处理前景和背景。我们在背景分支中引入了两种注意力来源，即区域提议网络（RPN）和前景分割掩码，分别提供对象级别的注意力和像素级别的注意力。我们的方法可以泛化到不同的骨干网络，在前景和背景分割方面均表现出一致的精度提升，并且在MS-COCO（46.5% PQ）和Cityscapes（59.0% PQ）基准测试中均达到了新的最先进水平。