仅使用图像级标签的弱监督语义分割（Weakly Supervised Semantic Segmentation, WSSS）能够显著降低标注成本，因而受到广泛关注。然而，其性能仍逊于完全监督方法。为缩小这一性能差距，本文提出一种显著性引导的自注意力网络（Saliency Guided Self-Attention Network, SGAN），以应对WSSS问题。所提出的自注意力机制能够捕捉丰富且广泛的上下文信息，但可能将注意力错误地扩散至非预期区域。为使该机制在弱监督条件下有效运行，我们引入了与类别无关的显著性先验信息，并利用类别相关的注意力线索作为SGAN的额外监督信号。由此，SGAN能够生成密集且精确的定位提示，从而显著提升分割性能。此外，通过将额外监督信号简单替换为部分标注的真实标签，SGAN亦可有效应用于半监督语义分割任务。在PASCAL VOC 2012和COCO数据集上的实验表明，本文方法在弱监督与半监督两种设置下均优于现有所有先进方法。