全卷积网络用于全景分割

本文提出了一种概念简洁、性能强劲且高效的整体分割框架——Panoptic FCN。该方法旨在通过统一的全卷积网络流程，同时实现对前景物体（things）与背景场景（stuff）的建模与预测。具体而言，Panoptic FCN通过所提出的核生成器，将每个物体实例或场景类别编码为特定的卷积核权重，并直接对高分辨率特征图进行卷积操作以生成最终预测结果。该方法在“生成核—分割”这一简洁流程中，分别实现了对物体实例的感知能力与对语义一致性的保障。与以往依赖额外边界框进行定位或实例分离的方法不同，本方法无需额外的检测框，仅使用单尺度输入，便在COCO、Cityscapes和Mapillary Vistas等多个基准数据集上取得了优于先前基于框（box-based）与无框（box-free）模型的性能表现，同时保持了极高的运行效率。相关代码已公开，地址为：https://github.com/Jia-Research-Lab/PanopticFCN。