WeakTr：探索用于弱监督语义分割的纯视觉Transformer

本文研究了普通视觉Transformer（Vision Transformer, ViT）在弱监督语义分割（Weakly-supervised Semantic Segmentation, WSSS）任务中的特性。类别激活图（Class Activation Map, CAM）对于理解分类网络结构以及启动WSSS任务具有关键作用。我们观察到，ViT的不同注意力头会关注图像中的不同区域。为此，本文提出一种基于权重的新方法，用于端到端地估计各注意力头的重要性，并自适应地融合自注意力图，从而生成质量更高的CAM结果，使得分割结果能够更完整地包含目标物体。此外，本文还设计了一种基于ViT的梯度裁剪解码器，可结合CAM结果实现在线重训练，以完成完整的WSSS任务。基于上述方法，我们构建了一个基于普通Transformer的弱监督学习框架，命名为WeakTr。该框架在标准基准测试中取得了当前最优的WSSS性能：在PASCAL VOC 2012验证集上达到78.4%的mIoU，在COCO 2014验证集上达到50.3%的mIoU。相关代码已开源，地址为：https://github.com/hustvl/WeakTr。