自训练在零标签语义分割中的深入探究

在深度学习中，能够对训练过程中未见过的类别进行分割是一项重要的技术挑战，因为这有望显著减少语义分割任务中昂贵的标注成本。以往的零标签语义分割方法通常通过学习视觉-语义嵌入或构建生成模型来应对该问题。然而，这些方法容易在已见类别上出现过拟合，原因是针对这些类别缺乏有效的训练信号。本文研究了一个更具挑战性的任务——广义零标签语义分割，即模型在测试阶段需同时对已见类别和未见类别进行准确分割。我们假设未见类别的像素可能存在于训练图像中，但未被标注。为此，我们的核心思想是通过为未标注像素生成自产的伪标签，并以此监督模型，从而捕捉未见类别潜在的语义信息。为此，我们提出一种一致性正则化机制，通过融合同一图像经不同数据增强后生成的伪标签的交集，有效过滤噪声伪标签。我们的框架通过迭代生成伪标签，并结合人工标注数据与伪标签数据对模型进行再训练。该过程重复进行多轮。实验结果表明，该方法在PascalVOC12和COCO-Stuff数据集上，在极具挑战性的广义零标签语义分割设置下，达到了新的最先进水平，显著优于其他采用更复杂策略的现有方法。