扩散、注意力与分割：基于稳定扩散的无监督零样本分割

在计算机视觉领域，生成高质量的图像分割掩码是一个基础性问题。近年来的研究探索了大规模监督训练，以实现对几乎任意图像风格的零样本分割；同时，也发展了无监督训练方法，以在无需密集标注的情况下完成分割任务。然而，构建一种无需任何标注、即可实现对任意图像内容进行零样本分割的模型，仍然是一个重大挑战。本文提出利用预训练的稳定扩散模型（Stable Diffusion）中的自注意力层来实现这一目标，因为这些模型在训练过程中已在其注意力机制中习得了对象的内在语义概念。具体而言，我们提出一种简单而高效的迭代合并方法，通过测量注意力图之间的KL散度，将注意力图逐步合并为有效的分割掩码。该方法无需任何训练过程，也不依赖语言模型，即可为任意图像生成高质量的分割结果。在COCO-Stuff-27数据集上，我们的方法在像素准确率上比现有的最先进无监督零样本分割方法提升了26个百分点，在平均交并比（mean IoU）上提升了17个百分点。项目主页详见：\url{https://sites.google.com/view/diffseg/home}。