摘要
非局部模块（non-local block）是一种广泛应用于增强常规卷积神经网络上下文建模能力的模块。本文首次对非局部模块进行了深入研究，发现其注意力计算可分解为两项：一项为白化后的成对项（whitened pairwise term），用于建模两个像素之间的关系；另一项为单变量项（unary term），用于表征每个像素的显著性。我们进一步观察到，当两项单独训练时，倾向于捕捉不同的视觉线索：白化成对项主要学习区域内部的关联关系，而单变量项则更擅长捕捉显著的边界信息。然而，在传统的非局部模块中，这两项被紧密耦合，从而限制了各自的学习能力。基于上述发现，本文提出了一种解耦的非局部模块（disentangled non-local block），通过将这两项解耦，以促进两者的独立学习。实验结果表明，该解耦设计在多种任务中均表现出显著有效性，包括在Cityscapes、ADE20K和PASCAL Context数据集上的语义分割任务，COCO数据集上的目标检测任务，以及Kinetics数据集上的动作识别任务。