重新思考无监督语义分割中的对齐性与一致性

无监督图像语义分割（Unsupervised Image Semantic Segmentation, UISS）旨在无需外部监督的情况下，将低层视觉特征与高层语义表示进行匹配。本文从特征对齐与特征均匀性两个关键视角出发，系统分析了UISS模型的性质，并对UISS与图像级表征学习进行了对比研究。基于分析结果，我们指出当前基于互信息（MI）的UISS方法存在表征坍缩（representation collapse）问题。针对该问题，本文提出一种鲁棒性更强的网络结构——语义注意力网络（Semantic Attention Network, SAN），其中引入了一种新型模块——语义注意力模块（Semantic Attention, SEAT），能够动态生成像素级与语义级特征。在多个语义分割基准数据集上的实验结果表明，所提出的无监督分割框架在捕捉语义表征方面表现优异，其性能不仅超越了所有未经预训练的方法，甚至优于部分采用预训练的先进方法。