Command Palette
Search for a command to run...
MegaPairs:面向通用多模态检索的大规模数据合成
MegaPairs:面向通用多模态检索的大规模数据合成
Junjie Zhou Zheng Liu Ze Liu Shitao Xiao Yueze Wang Bo Zhao Chen Jason Zhang Defu Lian Yongping Xiong
摘要
尽管多模态检索的需求迅速增长,该领域的进展仍严重受限于训练数据的匮乏。本文提出了一种名为MegaPairs的新颖数据合成方法,该方法利用视觉语言模型(VLMs)和开放域图像,生成了一个大规模的合成数据集。实证分析表明,MegaPairs能够生成高质量的数据,使多模态检索模型的性能显著超越在现有数据集上训练、数据量多出70倍的基线模型。此外,由于MegaPairs仅依赖通用图像语料库和开源视觉语言模型,具有良好的可扩展性,能够持续提升检索性能。在本阶段,我们已生成超过2600万条训练样本,并基于该数据集训练了多个不同规模的模型。这些新模型在4个主流的组合图像检索(CIR)基准测试中均达到当前最优的零样本性能,并在MMEB提供的36个数据集上取得最高综合表现。同时,这些模型在后续的微调任务中也展现出显著的性能提升。我们所构建的数据集、训练良好的模型以及数据合成流程将对公众开放,以推动该领域的未来发展。