基于自监督Transformer的无监督实例分割K-means方法

实例分割是计算机视觉中的基础任务，其目标是为图像中的每个像素分配相应的类别标签，并将物体精确地定位在边界框内。然而，获取像素级分割标注所需的人力与时间成本，远高于获取分类或检测任务的标注。为此，本文提出一种新颖的方法——基于自监督Transformer的迭代掩码精炼（Iterative Mask Refinement using a Self-Supervised Transformer, IMST），该方法在无需类别先验信息的前提下，仅通过简单的K均值聚类与自监督视觉Transformer，即可实现无监督实例分割。IMST能够生成伪真实标签（pseudo-ground-truth labels），用于训练现成的实例分割模型。实验表明，利用这些伪标签训练的模型在多个数据集上均表现出更优性能。在COCO20k数据集上，该模型的平均精度（AP）提升4.0，在COCO val2017数据集上提升2.6 AP，且无需对训练损失函数或网络架构进行任何修改，即超越当前最先进的无监督实例分割方法。此外，我们进一步证明，该方法可拓展应用于单/多物体发现以及监督微调的实例分割任务，并在各项任务中均优于现有方法。