一句话总结

来自上海人工智能实验室、中国科学技术大学、浙江大学和上海交通大学的科研人员提出可扩展视觉预训练（Scalable Visual Pretraining），一种直接利用视觉文档而无需文本提取的范式，并证明在多种模型骨干和基准测试中，该方法在语言智能方面始终优于纯文本预训练。

核心贡献

• 将视觉丰富的文档转换为纯文本会导致大量信息丢失，而直接在原始文档图像上进行视觉预训练可以恢复这些被丢弃的视觉线索，从而在相同底层语料上产生比纯文本预训练更强的语言智能。
• 引入一种自回归视觉预训练框架，训练基础模型在潜在空间中预测文档块，将视觉表示集成到预测过程中，无需文本提取或图文配对监督。
• 在多个模型骨干和科学推理基准上，使用匹配数据源进行的统一实证研究确立了视觉预训练作为纯文本预训练的有效且高效的替代方案，仅使用 25% 的 token 预算即可实现更好的性能。

引言

作者挑战了大型语言模型必须仅从文本中学习的假设，他们指出，科学文档具有丰富的视觉布局、图表和空间组织，当被简化为纯文本时会丢失关键的结构信息。先前的工作要么将这些文档解析为文本用于纯语言预训练，要么将视觉输入视为文本预测的浅层条件上下文，从未将视觉模态整合到预测目标中。主要贡献是视觉预训练（Visual Pretraining），一种自回归框架，直接在潜在空间中从原始文档块学习，无需任何文本提取或图文配对，并且在匹配的语料上始终优于纯文本预训练，同时仅使用 25% 的 token 预算。

方法

作者提出了 VP（视觉预训练），一种持续预训练方法，在标准文本预训练的基础上增加了一个应用于原始科学文档页面的下一个视觉潜在特征预测目标。核心思想是将文档图像视为一系列视觉块，仅保留信息丰富的前景区域，并训练语言模型自回归地预测下一个视觉潜在特征。这种设计将视觉学习与语言模型的因果式下一个 token 预测范式对齐，同时大幅缩短视觉上下文长度。

稀疏文档表示。 每个渲染的文档页面 $\mathcal{I}$I 通过一个冻结的视觉塔 $E_{\mathrm{v}}$Ev​，产生密集的视觉特征网格 $\mathcal{Z} = (z_1, \dots, z_N)$Z=(z1​,…,zN​)。由于文档页面包含大量空白区域（边距、空白），作者使用简单的块级统计量（如像素方差和平均亮度）计算前景掩码。仅保留非空白块，并按光栅扫描顺序重新排列保留的特征，形成稀疏的前景序列

$$\mathcal{U} = \operatorname{Raster}\{z_i : m_i = 1\} = (u_1, \dots, u_L), \quad L \ll N.$$U=Raster{zi​:mi​=1}=(u1​,…,uL​),L≪N.

这种稀疏表示保留了前景内容的空间布局，同时大幅缩短了视觉上下文。每个前景特征通过学习的线性投影映射到 LLM 隐藏空间，位置索引根据光栅顺序重新分配。多个前景序列可以打包到固定长度的训练上下文中，并跟踪序列边界以防止跨样本注意力。

下一个视觉潜在特征预测。 给定稀疏视觉序列，投影后的特征在视觉位置上的因果注意力掩码下输入自回归 LLM 骨干网络。在每个视觉位置 $t$t，LLM 隐藏状态通过输出投影头映射回冻结的视觉潜在空间，产生预测 $\hat{\mathbf{z}}_{t+1}$z^t+1​。训练目标是使用对比损失（带批内负样本）将该预测与真实的下一个前景视觉潜在特征 $\mathbf{z}_{t+1}$zt+1​ 匹配。对于一批预测-目标对，预测 $i$i 与目标 $j$j 匹配的 softmax 概率 $p_{ij}$pij​ 由余弦相似度和温度 $\tau$τ 计算。视觉预训练损失为

$$\mathcal{L}_{\mathrm{VP}} = -\frac{1}{|\mathcal{B}|}\sum_{i \in \mathcal{B}} \log p_{ii}.$$LVP​=−∣B∣1​i∈B∑​logpii​.

批次中的所有其他视觉特征作为负样本，促使模型将正确的下一个文档特征与其他块区分开来。该目标模拟了语言建模的下一个 token 预测结构，但作用于连续的视觉潜在特征而非离散的文本 token。

联合文本和视觉预训练。 最终训练目标结合了标准文本下一个 token 预测损失和视觉潜在特征预测损失：

$$\mathcal{L} = \lambda_{\text{text}} \mathcal{L}_{\mathrm{CE}} + \lambda_{\text{vis}} \mathcal{L}_{\mathrm{VP}},$$L=λtext​LCE​+λvis​LVP​,

其中 $\mathcal{L}_{\mathrm{CE}}$LCE​ 是文本 token 上的自回归交叉熵损失。文本和视觉样本在训练期间按固定混合比例交错进行。LLM、视觉输入投影和预测头被更新，而视觉编码器保持冻结。

训练设置与受控比较。 作者使用 XTuner 框架从固定检查点进行持续预训练。对于纯文本基线（TP）和 VP，非 PDF 文本语料、优化方案和监督微调（SFT）阶段保持完全相同。唯一受控的区别在于额外科学 PDF 语料的表示方式。在 TP 中，PDF 页面被转换为 MinerU2.5 解析的文本，产生约 800 亿个文本 token。在 VP 中，相同的 PDF 页面被渲染为图像，并过滤为稀疏的前景视觉序列，在主分辨率下产生约 200 亿个视觉 token。因此，总的 CPT token 预算不同（TP 为 1800 亿，VP 为 1200 亿），这反映了视觉流更紧凑的表示，而非不同的文档来源。预训练后，两个检查点经历相同的 SFT 方案，并在相同的零样本协议下评估，确保任何性能差异源于视觉表示本身。

实验

评估比较了在原始文档页面上的视觉预训练与在从相同科学 PDF 解析的文本上的文本预训练，随后进行相同的监督微调。在多个基准和模型系列中，视觉预训练持续提升科学推理能力，随数据扩展效率更高，且仅需四分之一的 token 预算。这些收益由图表和公式等视觉内容驱动，该方法还在没有任何图文对监督的情况下增强了多模态对齐和视觉推理能力。总体结论是，保留文档的原生视觉形式能带来更丰富的知识提取和推理能力。

在渲染的文档页面上的视觉预训练，在纯文本推理基准上始终优于从相同科学 PDF 语料解析的文本上的文本预训练。这些收益适用于多模态和纯语言模型，并且视觉预训练以显著更低的 token 使用量实现了这一点，表明保留原生视觉形式能更好地捕获与推理相关的信息。在所有测试的骨干网络上，视觉预训练在 GPQA Diamond 上最高提升 3.2 分，在 MMLU-Pro 上最高提升 2.1 分，优于文本预训练基线。在相同的文档语料上，视觉预训练仅使用 25% 的 token 预算就超越了文本预训练。这一优势归因于视觉表示保留了图表、公式和布局中更高保真度的内容，而文本提取会丢弃或削弱这些内容。

视觉预训练（VP）在所有评估的多模态基准上均优于原始基础模型和文本预训练（TP）基线。在 ChartQAPro 和 MathVista 等视觉密集型任务上收益最大，而 TP 在这些任务上提升微乎其微甚至出现倒退，表明无监督的视觉文档预训练无需任何带标注的图文对即可有效迁移到多模态推理。在所有四个基准和两个骨干模型上，VP 始终比基础模型和 TP 检查点提升多模态性能。在视觉丰富的基准上优势最大，VP 在 ChartQAPro 上比 TP 高出 5.4 分，在 MathVista 上高出 4.8 分，而 TP 未能提供有意义的增益。

在渲染的文档页面上的视觉预训练始终优于从相同科学 PDF 语料解析的文本上的文本预训练，在纯文本推理基准（GPQA Diamond 最高提升 3.2 分，MMLU-Pro 最高提升 2.1 分）和多模态任务上均取得收益，在 ChartQAPro 和 MathVista 等视觉丰富的基准上优势最大。它以显著更低的 token 使用量实现了这些改进，因为视觉表示保留了图表、公式和布局中高保真度的内容，而文本提取会丢弃或削弱这些内容。这些收益无需任何带标注的图文对即可有效迁移到多模态推理，而文本预训练在此类任务上往往提升微乎其微甚至性能倒退。