基于专家模型的可扩展迁移学习

迁移预训练表征能够提升新任务的样本效率并降低计算需求。然而，通常用于迁移的表征具有通用性，未针对下游任务的具体分布进行定制。为此，我们提出一种简单但高效的方法，利用专家表征进行迁移。通过挖掘现有标签结构，训练一组多样化的专家模型，并采用计算成本低廉的性能代理指标，为每个目标任务自动选择最相关的专家。该策略实现了向新任务迁移过程的可扩展性，因为在迁移阶段无需重新访问预训练数据，因此每个目标任务仅需极少的额外计算开销，相比现有方法实现2到3个数量级的速度提升。此外，我们设计了一种基于适配器（adapter-based）的架构，能够将多个专家模型压缩为单一模型。我们在两种不同数据源上评估了该方法，结果表明，在超过20项不同的视觉任务中，该方法均显著优于各类基线模型。