
摘要
基于自监督学习的卷积神经网络(CNN)表示学习已被证实对视觉任务具有显著有效性。作为CNN的替代方案,视觉Transformer(ViT)凭借其空间自注意力机制与通道级前馈网络,展现出强大的特征表示能力。近期研究表明,自监督学习有助于充分挖掘ViT的潜在性能。然而,大多数现有方法仍沿用为CNN设计的自监督策略,例如样本级别的判别任务,而忽视了ViT自身的独特性质。我们观察到,对空间维度与通道维度进行关系建模,是ViT区别于其他网络的关键特征。为此,我们提出一种面向自监督ViT训练的特征自关系(Self-RElation, SERE)机制。具体而言,我们不再仅依赖多视图特征嵌入进行自监督学习,而是引入特征自关系——即空间自关系与通道自关系——作为自监督学习的核心依据。基于自关系的训练进一步增强了ViT的关系建模能力,从而生成更具表达力的特征表示,并在多个下游任务中稳定提升性能。我们的开源代码已公开,地址为:https://github.com/MCG-NKU/SERE。