SimVLM：基于弱监督的简单视觉语言模型预训练

随着视觉与文本表示联合建模技术的最新进展，视觉-语言预训练（Vision-Language Pretraining, VLP）在众多多模态下游任务中取得了令人瞩目的性能表现。然而，现有方法对昂贵标注数据的依赖——包括清晰的图像标题和区域标签——严重限制了其可扩展性，并因引入多个数据集特异性目标而使预训练过程变得复杂。针对这一问题，本文提出一种简约化的预训练框架——简单视觉语言模型（Simple Visual Language Model, SimVLM），有效缓解了上述限制。与以往方法不同，SimVLM通过利用大规模弱监督信号降低训练复杂度，并采用单一前缀语言建模目标实现端到端训练。该模型无需额外数据或任务特定的定制化设计，即可显著超越以往预训练方法，在广泛的判别性与生成性视觉-语言基准任务上取得新的最先进性能，涵盖视觉问答（VQA，提升3.74%的VQA得分）、NLVR2（准确率提升1.17%）、SNLI-VE（准确率提升1.37%）以及图像字幕生成任务（平均CIDEr得分提升10.1%）。此外，我们进一步验证了SimVLM具备强大的泛化能力与迁移能力，能够实现零样本推理，包括开放式视觉问答和跨模态迁移等任务。