摘要
从弱标签数据（例如仅包含图像标签）中学习语义分割极具挑战性，因为仅凭稀疏的语义标签难以推断出密集的物体区域。尽管该问题已被广泛研究，但当前多数方法仍直接依赖于单张图像或图像对中有限的语义标注进行学习，难以获得完整的定位图。本文从一个新颖的角度缓解这一难题，通过协同利用大量弱标签训练数据中的丰富语义上下文，促进网络的学习与推理。为此，我们提出区域语义对比与聚合（Regional Semantic Contrast and Aggregation, RCA）。RCA配备了一个区域记忆库，用于存储训练数据中出现的大量、多样的物体模式，从而为探索数据集层面的语义结构提供强有力的支持。具体而言，我们提出：i）语义对比机制，通过对比大量类别化的物体区域来驱动网络学习，促进对物体整体模式的深入理解；ii）语义聚合机制，将记忆库中多样化的关联上下文进行整合，以丰富语义表征。通过上述机制，RCA具备了强大的细粒度语义理解能力，并在两个主流基准数据集——PASCAL VOC 2012 和 COCO 2014 上取得了新的最先进性能。