在演进注意力机制面向领域自适应

迈向更优的无监督域自适应（Unsupervised Domain Adaptation, UDA）。近期，研究人员提出了多种域条件注意力模块，并取得了显著进展。然而，由于注意力模块的配置（即注意力类型及其位置）对模型性能具有显著影响，因此，更具有普适性的方式是自动优化注意力配置，使其能够针对任意UDA场景进行专门化适配。本文首次提出EvoADA：一种无需人工干预即可为给定UDA任务演化注意力配置的新框架。具体而言，我们设计了一种包含多样化注意力配置的新型搜索空间。为进一步评估注意力配置并使搜索过程具备UDA导向性（兼顾迁移能力与判别能力），我们提出一种简单而有效的评估策略：1）利用现成的域自适应方法，在两个域上训练网络权重；2）基于目标域上的判别能力来引导注意力配置的演化。在多种跨域基准数据集（包括Office-31、Office-Home、CUB-Paintings以及Duke-Market-1510）上的实验结果表明，所提出的EvoADA能够持续提升多种先进域自适应方法的性能，且所发现的最优注意力配置显著增强了这些方法的泛化能力。