17 天前

高分辨率图像上全景分割的批内监督

Daan de Geus, Gijs Dubbelman
高分辨率图像上全景分割的批内监督
摘要

统一的全景分割方法在多个数据集上已取得最先进的性能。为了在高分辨率数据集上实现这些成果,现有方法通常采用基于图像块(crop-based)的训练策略。在本研究中,我们发现尽管基于图像块的训练总体上具有优势,但也存在一个有害的副作用:它限制了统一网络区分大尺度目标实例的能力,导致网络在多个实例之间产生混淆性预测。为解决这一问题,我们提出了一种名为批内监督(Intra-Batch Supervision, IBS)的新方法,通过利用同一训练批次中的多张图像引入额外监督信号,增强网络对实例间的区分能力。实验表明,采用IBS后,我们有效缓解了实例混淆问题,并持续提升了统一网络的性能。在高分辨率的Cityscapes和Mapillary Vistas数据集上,我们在“物类”(thing)类别的全景质量(Panoptic Quality)指标上实现了最高达+2.5的提升,同时在像素级准确率(pixel accuracy)和像素级精确率(pixel precision)上更是取得了高达+5.8的显著增益。我们进一步指出,这两个指标更能有效捕捉实例混淆问题,因而是评估该类问题的更优衡量标准。

高分辨率图像上全景分割的批内监督 | 最新论文 | HyperAI超神经