Panoptic SegFormer：通过Transformer深入探索全景分割

全景分割（Panoptic Segmentation）结合了语义分割与实例分割，将图像内容划分为两类：可计数的“物体”（things）和不可计数的“场景”（stuff）。本文提出了一种基于Transformer的通用全景分割框架——Panoptic SegFormer，包含三项创新性组件：一种高效的深度监督掩码解码器、一种查询解耦策略以及一种改进的后处理方法。此外，我们采用可变形DETR（Deformable DETR）高效处理多尺度特征，该模型是DETR的快速高效版本。具体而言，我们在掩码解码器中的注意力模块采用逐层监督策略。这种深度监督机制使注意力模块能够快速聚焦于具有语义意义的区域，显著提升模型性能，并将所需训练轮次减少一半，相较于原始的可变形DETR。我们的查询解耦策略将查询集的职责进行解耦，有效避免了“物体”与“场景”之间的相互干扰。同时，所提出的后处理策略通过联合考虑分类质量与分割质量，以解决掩码重叠冲突问题，在不增加额外计算成本的前提下进一步提升性能。实验结果表明，该方法相较基线DETR模型在全景分割质量（PQ）指标上提升了6.2%。Panoptic SegFormer在COCO test-dev数据集上取得了56.2%的PQ，达到当前最优水平。此外，该方法在零样本迁移任务中展现出更强的鲁棒性，优于现有主流方法。代码已开源，地址为：\url{https://github.com/zhiqi-li/Panoptic-SegFormer}。