3 个月前

HS3:分层监督语义分割中的合理任务复杂度学习

Shubhankar Borse, Hong Cai, Yizhe Zhang, Fatih Porikli
HS3:分层监督语义分割中的合理任务复杂度学习
摘要

尽管深度监督网络在近期文献中广为应用,但其通常对所有中间层施加相同的优化目标,而忽视了这些层在表征能力上的差异性。本文提出了一种分层监督语义分割方法(Hierarchically Supervised Semantic Segmentation, HS3),通过逐步增加任务复杂度,对分割网络中的中间层进行差异化监督,以促使各层学习到更具意义的特征表示。为确保网络各层在性能与复杂度之间保持一致的权衡,我们为每一层设计了不同层次的类别聚类作为监督信号。此外,我们进一步构建了一个融合框架——HS3-Fuse,用于整合各层次生成的特征,从而提供更为丰富的语义上下文信息,显著提升最终的分割效果。大量实验表明,所提出的HS3方法在不增加推理开销的前提下,显著优于传统的深度监督策略;而HS3-Fuse框架在进一步优化分割预测性能的基础上,在两个大型语义分割基准数据集——NYUD-v2与Cityscapes上均取得了当前最优的性能表现。