CogVLM：预训练语言模型的视觉专家

我们介绍了一种强大的开源视觉语言基础模型——CogVLM。不同于流行的浅层对齐方法，该方法将图像特征映射到语言模型的输入空间，CogVLM 通过在注意力层和前馈神经网络（FFN）层中引入一个可训练的视觉专家模块，弥合了冻结预训练语言模型和图像编码器之间的差距。因此，CogVLM 能够实现视觉和语言特征的深度融合，同时不会牺牲任何自然语言处理任务的性能。CogVLM-17B 在包括 NoCaps、Flickr30k 描述生成、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC 在内的 10 个经典跨模态基准测试中取得了最先进的性能，并在 VQAv2、OKVQA、TextVQA 和 COCO 描述生成等任务上排名第二，超越或匹配了 PaLI-X 55B 的表现。代码和模型检查点可在 https://github.com/THUDM/CogVLM 获取。