17 天前

Prismer:一种具备多任务专家的视觉-语言模型

Shikun Liu, Linxi Fan, Edward Johns, Zhiding Yu, Chaowei Xiao, Anima Anandkumar
Prismer:一种具备多任务专家的视觉-语言模型
摘要

近期的视觉-语言模型展现出令人瞩目的多模态生成能力。然而,这类模型通常需要在海量数据上训练庞大的参数量模型。作为一种更具可扩展性的替代方案,我们提出了Prismer——一种数据与参数高效的视觉-语言模型,其核心思想是采用任务特定专家的集成架构。Prismer仅需训练少量组件,模型的大部分网络权重直接继承自多个现成可用的预训练专家模型,并在训练过程中保持冻结状态。通过整合来自多种领域的专家知识,我们证明Prismer能够高效汇聚并适配这些专业知识,以应对多样化的视觉-语言推理任务。实验结果表明,Prismer在微调和少样本学习场景下的性能可与当前最先进的模型相媲美,同时所需训练数据量最多可减少两个数量级。代码已开源,地址为:https://github.com/NVlabs/prismer。