超越语义分割到实例分割：通过语义知识迁移和自精炼实现弱监督实例分割

弱监督实例分割（WSIS）被认为比弱监督语义分割（WSSS）更具挑战性。与WSSS相比，WSIS需要进行实例级别的定位，而从图像级标签中提取这种信息非常困难。为了解决这一问题，大多数WSIS方法采用了现成的提议技术，这些技术需要使用实例或对象级别的标签进行预训练，从而偏离了完全基于图像级监督设置的基本定义。在本文中，我们提出了一种新颖的方法，包含两个创新组件。首先，我们提出了语义知识迁移技术，通过将WSSS的知识迁移到WSIS来获得伪实例标签，同时消除了对现成提议技术的需求。其次，我们提出了一种自精炼方法，在自监督方案中精炼伪实例标签，并以在线方式使用这些精炼后的标签进行训练。在此过程中，我们发现了一个错误现象——语义漂移（semantic drift），即伪实例标签中缺失的实例被归类为背景类别时发生的语义漂移。这种语义漂移会导致训练过程中背景和实例之间的混淆，从而降低分割性能。我们将这一问题称为语义漂移问题，并展示了所提出的自精炼方法可以消除该问题。我们在PASCAL VOC 2012和MS COCO数据集上进行了广泛的实验，证明了我们方法的有效性，并且在不使用现成提议技术的情况下取得了显著的性能提升。代码可在https://github.com/clovaai/BESTIE 获取。