摘要
视觉-语言预训练（VLP）在各种联合视觉-语言下游任务中提高了性能。目前的VLP方法严重依赖于图像特征提取过程，其中大多数涉及区域监督（例如，目标检测）和卷积架构（例如，ResNet）。尽管文献中对此较少关注，但我们发现这种方法在效率/速度和表达能力方面存在问题：(1) 效率/速度方面，仅提取输入特征所需的计算量就远超多模态交互步骤；(2) 表达能力方面，其上限受制于视觉嵌入器及其预定义的视觉词汇表。在本文中，我们提出了一种最小化的VLP模型——视觉-语言变压器（ViLT），该模型在处理视觉输入时进行了大幅简化，采用了与处理文本输入相同的无卷积方式。实验结果表明，ViLT比之前的VLP模型快数十倍，同时在下游任务性能上具有竞争力或更优。我们的代码和预训练权重可在https://github.com/dandelin/vilt 获取。