COSA：拼接样本预训练视觉-语言基础模型

由于视频-文本训练语料库在规模和质量上的局限性，大多数视觉-语言基础模型在预训练阶段仅采用图像-文本数据集，主要关注视觉语义表示的建模，而忽视了时间语义表示及其关联性。为解决这一问题，我们提出COSA（COncatenated SAmple pretrained vision-language foundation model），一种基于图像-文本语料库进行联合预训练的视觉-语言基础模型。COSA仅利用图像-文本语料库，即可同时建模视觉内容与事件级时间线索。我们通过将多个图像-文本对按顺序拼接作为预训练输入，实现这一目标。该方法有效将现有的图像-文本语料库转换为一种伪长视频-段落语料库，从而支持更丰富的场景演变建模，并建立明确的事件描述对应关系。大量实验表明，COSA在多种下游任务中均表现出持续的性能提升，涵盖长视频/短视频-文本任务以及图像-文本任务（如检索、图像描述生成和视觉问答）。尤为突出的是，COSA在多个具有竞争力的基准测试中取得了当前最优（SOTA）性能。相关代码与模型已开源，地址为：https://github.com/TXH-mercury/COSA。