一句话总结

DataComp-VLM (DCVLM) 是一个用于受控、以数据为中心的VLM训练实验的基准，它将涵盖四种数据类型的160个数据集汇集到一个 $6\text{T}$6T 多模态token语料库中，允许参与者在 $1\text{B} \text{--} 8\text{B}$1B–8B 模型和 $6.25\text{B} \text{--} 200\text{B}$6.25B–200B token预算间测试数据筛选策略。广泛的实验揭示，是侧重于指令的数据混合，而非数据过滤，驱动了更优的规模化表现。DCVLM-BASELINE $8\text{B}$8B 模型在使用 $200\text{B}$200B token训练后，在33任务核心套件上达到了 $63.6\%$63.6% 的准确率，比先前最佳的开源数据集FINEVISION高出 $+5.4\text{pp}$+5.4pp，即为明证。

核心贡献

• 提出了用于VLM的DataComp (DCVLM)，作为视觉-语言模型预训练中数据筛选的系统性基准。它包含一个由160个数据集组成的6万亿token多模态语料库、一个包含52个基准测试的评估套件，以及支撑跨模型规模和token预算进行规模化实验的基础设施。
• 在DCVLM上的大量实验表明，优化数据混合比例，特别是采用指令密集型组合，能带来显著且与规模相关的改进；而将额外的质量过滤器应用于已精心筛选的数据，则收效甚微。
• 由此产生的DCVLM-BASELINE数据集为开源的VLM训练数据设立了新的最佳水平，使一个8B模型能在核心基准套件上达到63.6%的准确率，性能比先前最佳的开源数据集FINEVISION高出5.4个百分点。

引言

视觉-语言模型的性能在很大程度上受预训练数据的影响，然而系统性的数据筛选研究却落后于模型架构和训练方法上的进步。尽管DataComp和DCLM等基准已在其他领域实现了受控的、以数据为中心的实验，但VLM数据筛选仍面临独特的障碍：现代模型聚合了许多已经过筛选的不同类型的数据集（图像-描述对、交错文档、纯文本、指令数据）；开源训练数据的规模比最先进系统所用的数万亿token小了几个数量级；数据类型、模型规模和计算预算之间的相互作用极为广泛；不同研究的评估协议也缺乏一致性。作者提出了用于VLM的DataComp (DCVLM)，这是首个用于系统性VLM数据筛选的基准。它提供了一个标准化的、总计6万亿多模态token的160数据集池，一个从1B到8B参数、从6.25B到200B训练token的规模扩展阶梯，以及一个包含52个基准测试的综合评估套件。通过超过1000次受控实验，作者证明优化数据混合比例，特别是增加指令微调数据的比例，是提升性能的主要手段，而在已筛选数据上施加额外的质量过滤则回报微乎其微甚至为负。由此产生的DCVLM-BASELINE数据集为开源VLM训练数据设立了新的最佳水平，作者公开了所有实验产出，以促进可复现的数据筛选研究。

数据集

作者构建了DCVLM数据池，这是一个庞大且刻意异构的集合，旨在研究VLM数据筛选策略。该数据池汇集了160个公开可用的数据集，总计6万亿多模态token，并针对52个评估基准进行了去污染处理。它被组织成四种数据类型：

• 图像-描述对是最大的组成部分，涵盖了广泛的质量谱系。像DataComp-1B和ReLAION-2B这样的大规模来源提供了经过CLIP分数过滤的网络爬取alt-text对，而合成来源（如ShareGPT-4o）和人工标注来源（如Pixmo-Cap）则提供了数量较少但质量更高的样本。
• 多模态交错文档包含来自HTML页面、PDF和学术论文的、网络抓取的图像-文本序列。来源包括MINT-1T-HTML、MINT-1T-PDF、WanJuan、OmniCorpus和Multimodal-Textbook。这是筛选程度最低的数据，仅依赖最基础的URL和启发式过滤，因此整体质量评分通常较低。
• 纯文本数据有助于在多模态训练期间保持语言模型的能力。它包括指令和知识来源，如FLAN、SlimOrca、Dolly、Numina-Math-1.5和xCoder80k。
• 多模态指令微调数据包含基于一张或多张图像的单轮或多轮问答对。作者将这部分数据人工分为八种能力：知识、图表理解、通用问答、指代与计数、数学、朴素OCR、OCR问答和科学。

在去污染方面，数据池根据Extended评估套件进行了过滤。与任何测试图像ResNet-50 SSCD余弦相似度高于0.75的多模态样本会被移除；纯文本样本则使用MinHash Jaccard相似度进行过滤。

数据使用方式。 该数据池作为固定来源，参与者可以从中为四个竞赛规模构建训练集。一个关键的设计规则是将池与训练token的比例在所有规模上恒定为30倍：6T token的数据池包含的token数量总是该规模训练预算的30倍。参与者应用过滤和混合策略从数据池中选择最终的训练token。在基线实验中，作者使用了一种混合方式，即75%图像-描述对、18%纯文本、4%多模态文档和3%指令微调数据，并通过长度比例采样得出。x-large规模则对应将整个数据池用作候选集，同时仍需执行去污染和数据筛选选择。

方法

作者利用数据混合作为主要的数据筛选手段，来为DCVLM建立一个强大的基线，其重点在于不同数据类型间训练样本的分配。具体而言，他们针对图像-描述对和指令微调数据的比例，对混合方案进行了优化，同时将纯文本样本和多模态文档的比例分别固定在15%和5%，作为辅助组成部分。为确定最佳分配，作者评估了三种不同的混合方案：以图像描述为主的混合方案，包含65%的图像-描述对和15%的指令微调数据；均衡混合方案，包含40%的图像-描述对和40%的指令数据；以及以指令为主的混合方案，包含10%的图像-描述对和70%的指令微调数据。这些配置在由三个模型规模（1B、2B和4B）和三个token预算（6.25B、12.5B和25B）构成的缩放网格上进行了严格测试。

此实验设置的一个关键发现是，数据混合不能与规模无关。结果揭示了数据混合与计算规模之间显著的交互作用。随着模型规模和token预算的增长，指令密集型混合方案展现出明显更陡峭的缩放曲线。它在最小规模上表现最差，但在中等规模和大规模上迅速恢复并成为表现最佳的配置。这种交叉模式表明，在小规模上建立的混合方案排名无法可靠地迁移到更大规模，这凸显了进行规模感知型数据筛选的必要性，即需要在缩放阶梯的多个点上验证混合方案的选择。

针对指令密集型混合方案引起的可扩展性担忧，作者也研究了指令微调数据的可重复性。由于指令微调数据集通常比网络爬取的图像-描述对小得多，70%的分配比例可能需要极高的数据重复。为评估这一点，他们固定了所有非指令数据源，并在中等规模上对指令微调数据进行随机子采样，以引入高达2倍、4倍和8倍的数据重复。在这些条件下，性能下降较为平缓，重复因子每翻一倍，性能损失约0.5%到1.0%。值得注意的是，具有2倍重复的指令密集型混合方案仍然可以匹敌使用完全唯一数据的图像描述密集型混合方案，并且在4倍重复时，它仍然优于基础混合方案。这表明最佳混合方案带来的好处超过了适度数据重复的成本。

实验

DCVLM基准提供了一个受控框架，用于在多个计算规模上研究VLM数据筛选，其数据源是一个异构的、经过预过滤的网络数据和指令数据池。大量的过滤实验表明，对已经经过筛选的数据进行基于质量的过滤，带来的改进微乎其微，并且全局过滤导致的隐性数据混合变化可能才是驱动性能差异的原因，而非样本质量本身。对照研究证实，预训练数据的选择能稳健地迁移到有监督微调阶段以及不同的语言模型初始化方式上，并且一个简单的指令密集型混合基线模型，其性能优于先前的开源预训练数据集，这种优势在更大规模时更为显著。

DCVLM基准定义了四个训练规模——small, medium, large, and x-large——每一步都通过将模型规模翻倍、训练token预算翻两番，将总计算量增加八倍，同时保持数据筛选池的大小为训练token的30倍。在所有规模上，DCVLM-BASELINE方案始终优于先前开源的预训练数据集（如FINEVISION），并且性能优势随着规模的扩大而增长。值得注意的是，在large规模上使用此方案训练的模型，其性能可以匹敌甚至超过在x-large规模上使用FINEVISION训练的更大模型。每个连续规模代表8倍的计算量增长：模型参数翻倍，训练token翻两番，从small规模的1B参数和6.25B token开始，到x-large规模的8B参数和200B token。用于筛选的可用数据池在所有规模上都固定为训练token预算的30倍，从small规模的187.5B token到x-large规模的6T token。在33项核心评估任务上，DCVLM-BASELINE表现出相较于FINEVISION逐步扩大的优势，从small规模的+0.3pp扩大到x-large规模的+5.4pp。一个在DCVLM-BASELINE上使用100B token训练的4B模型，其性能优于一个在FINEVISION上使用200B token训练的8B模型，展示了卓越的数据效率。

当指令微调样本被重复使用时，指令密集型数据混合的性能下降较为平缓，重复次数每翻一倍，核心平均性能损失约0.5到1.0个百分点。即使有两倍的重复，指令密集型混合方案的表现仍能匹敌使用完全唯一数据的图像描述密集型混合方案，并且在更高的重复因子下依然保持竞争力。具有2倍重复的指令密集型混合方案取得了50.2%的平均核心分数，与使用唯一数据的图像描述密集型混合方案的50.3%相当。重复因子每翻一倍，性能下降约0.5到1.0个百分点，表明对数据重用的敏感性较低。

一种放弃了过滤的、简单的指令密集型数据混合方案，能比现有的开源VLM预训练数据集带来持续的性能提升。相比先前最佳的数据集FineVision，其优势在核心基准上从最小规模的0.3个百分点增长到最大规模的5.4个百分点，并且使用此方案训练的4B模型，其性能可以匹敌甚至超过8B的FineVision模型。在所有规模上，DCVLM-Baseline均优于FineVision，在核心评估套件上的优势从small规模的+0.3个百分点增长到x-large规模的+5.4个百分点。在包含52个任务的扩展基准上，一个使用DCVLM-Baseline以100B token训练的4B模型，其性能超过了一个使用FineVision以200B token训练的8B模型。

DCVLM-BASELINE筛选方案，即一种简单的、无需过滤的指令密集型混合方案，始终优于先前的开源预训练数据集（如FINEVISION），其性能优势从small规模到x-large规模不断扩大。这种数据效率非常显著，以至于在large规模训练的4B参数模型，其性能可以匹敌甚至超过在x-large规模上使用FINEVISION训练的8B模型。此外，该方案在数据重复下性能下降平缓，指令微调样本的重复次数每翻一倍，性能损失仅为0.5到1.0个百分点，即使在更高重复因子下也依然保持竞争力。