AltCLIP：扩展CLIP的语言编码器以增强语言能力

在本研究中，我们提出了一种概念上简单且有效的方法来训练一个强大的双语/多语言多模态表示模型。我们从OpenAI发布的预训练多模态表示模型CLIP出发，将其文本编码器替换为预训练的多语言文本编码器XLM-R，并通过两阶段训练方案（包括教师学习和对比学习）对语言和图像表示进行对齐。我们通过广泛的任务评估验证了该方法的有效性。我们在多个任务上取得了新的最先进性能，包括ImageNet-CN、Flicker30k-CN、COCO-CN和XTD。此外，我们的模型在几乎所有任务上的表现都与CLIP非常接近，这表明可以通过简单地替换CLIP中的文本编码器来扩展其功能，例如实现多语言理解。我们的模型和代码已发布在https://github.com/FlagAI-Open/FlagAI。