SATS：连续语义分割中的自注意力迁移

持续学习以分割越来越多类型的图像区域是许多智能系统所期望具备的能力。然而，这种持续的语义分割面临着与持续分类学习相同的灾难性遗忘问题。尽管多种原本用于持续分类的知识蒸馏策略已被成功应用于持续语义分割，但它们仅考虑基于深度全卷积网络的一个或多个层的输出来传递旧知识。不同于现有的解决方案，本研究提出传递一种新的与知识相关的信息类型，即每幅图像中元素（例如像素或小局部区域）之间的关系信息，这可以捕捉类内和类间知识。这种关系信息可以通过 Transformer 风格的分割模型中的自注意力图有效获取。考虑到每幅图像中属于同一类别的像素通常具有相似的视觉特性，本研究应用了类别特定区域池化方法，以更高效地提供关系信息进行知识传递。在多个公共基准上的广泛评估表明，所提出的自注意力传递方法可以进一步有效地缓解灾难性遗忘问题，并且其与一个或多个广泛采用的策略灵活结合后显著优于现有最先进解决方案。