一句话总结

阿里巴巴集团的ATH-MaaS团队推出了OvisOCR2，一个0.8B端到端文档解析器，通过结合真实和合成的HTML衍生数据，并经过监督微调、带多组件奖励的强化学习、on-policy蒸馏以及模型融合训练，从页面图片生成Markdown，在OmniDocBench v1.6上取得了96.58的总体最优得分，在PureDocBench上取得了75.06的得分，从而将端到端模型推上此前由流水线方法主导的排行榜首位。

核心贡献

• 数据引擎将经过过滤的真实文档标注与合成页面结合起来，其中渲染图像和Markdown目标均源自同一HTML源码。
• 训练方案包括监督微调、在4B分支上进行带多组件奖励设计的强化学习、向0.8B模型进行on-policy蒸馏以及模型融合。
• OvisOCR2在OmniDocBench v1.6（96.58）和PureDocBench（Avg3 75.06）上达到了最优总体分数，超越了此前的流水线方法，并在覆盖长尾场景的内部基准测试上取得了最高的综合表现。

引言

文档解析将富含视觉信息的文档图像转换为结构化的Markdown，保留布局、阅读顺序、表格、公式等元素，用于索引和下游任务。流水线方法在公开排行榜中占据主导地位，但引入了部署复杂性和跨独立布局与识别阶段的错误传播。端到端模型简化了部署，但在准确率上一直落后。作者推出了OvisOCR2，一个紧凑的0.8B端到端解析器，超越了领先的流水线方法。他们通过后训练一个小型视觉-语言模型来实现这一点，该模型结合了经过过滤的真实标注和源对齐的合成页面数据引擎，并辅以监督微调、强化学习、on-policy蒸馏和模型融合。OvisOCR2在OmniDocBench v1.6和PureDocBench上创下了新的最优分数，同时保持了极小的部署规模。

数据集

作者通过结合两个互补的流程（真实数据流程和合成数据流程）构建了用于端到端文档解析器的训练数据集。两个流程均产生图像–Markdown对，但它们在来源、标注质量和覆盖扩展方式上有所不同。

真实数据子集

• 来源： 大规模真实文档图像（扫描页面、数字文档等），经两个OCR解析器PaddleOCR-VL-1.5和MinerU2.5-Pro处理。
• 处理： 解析器输出首先通过源特有的规则规范化为统一的Markdown模式。这包括严格的类别验证、文本块合并、公式规范化（LaTeX风格分隔符）、表格清理以及通过归一化边界框（<img src="images/bbox_left_top_right_bottom.jpg" />，坐标范围为[0,1000)）表示视觉区域。预过滤阶段去除无有效文本、重复或严重解析失败的样本。
• 过滤： 转换后，对每个子集进行人工抽查。检查员验证文本对应关系、公式准确性、表格对齐、视觉区域对齐和阅读顺序一致性。频繁出错的子集被丢弃；仅有偶尔轻微错误的子集与样本级过滤器一同保留。
• 模式： 最终的Markdown按照解析器块顺序保持阅读顺序，块之间用双换行分隔。

合成数据子集

• 来源： 由HTML模板生成，模板源自多维度评估中识别的困难失败案例。多模态模型将每个困难样本（或聚类）转化为一个捕获挑战性布局结构的初始HTML模板。
• 多样化： 通过agent-based的程序，在保持有效性规则的同时，改变内容（文本、数字、公式）和结构（表格、章节、视觉位置），将每个模板扩展为众多HTML页面。这产生了多样、可控且具有确定性标签的样本。
• 真值： Markdown直接从HTML源码生成，而非从渲染图像。序列化规则将文本、表格、公式和视觉区域映射到与真实数据相同的统一模式。阅读顺序根据文档类型感知规则分配（例如，对多栏布局采用分栏分割）。
• 渲染： 文档图像使用Playwright渲染，保留逼真的字体和布局。从DOM记录元素级边界框并归一化到[0,1000)。若应用几何增强，坐标会相应变换。
• 质量控制： 在规模化之前，通过预览和迭代阶段检查小批量样本的样式和布局缺陷。大规模生成后，自动移除渲染失败、空目标、结构错误和重复项。

数据集使用方式
两个子集合并为单个训练语料库，用于文档解析器。论文未披露确切大小或混合比例，但描述真实数据流程为大规模，合成数据流程则规模化生产样本以扩展长尾覆盖。
统一的Markdown模式（含HTML表格标签、LaTeX数学和归一化的图像占位符）作为模型训练的目标格式。
未提及明确的裁剪策略；视觉区域通过边界框定位，序列化时保持阅读顺序。合成流程在渲染时调整视口和页面边界，避免无效裁剪。

方法

作者利用全面的数据引擎和多阶段训练流程来开发端到端文档解析器。数据引擎由两个互补的流程组成：真实数据流程和合成数据流程。

真实数据流程将大规模文档图像转化为可靠的训练数据。它利用专门的OCR解析器获取结构化输出，然后通过基于规则的转换将其规范化为统一的Markdown格式。该过程包括严格的类别验证、文本和公式规范化以及视觉区域处理。为确保质量，该流程结合了人工抽查和子集过滤，以验证文本对应关系、公式准确性、表格对齐和阅读顺序一致性。

合成数据流程通过生成具有精确真值标注的可控样本来补充真实数据。该流程从困难样本挖掘开始，以识别代表性不足的文档模式。多模态模型将这些困难样本转化为初始HTML模板，然后通过agent-based生成过程将其扩展为多样化的HTML页面。该流程直接从HTML源码中提取Markdown真值，并使用Playwright渲染文档图像。迭代质量控制确保合成数据保持干净的标注和忠实的图文对齐。

训练流程分为多个阶段，以构建鲁棒的解析策略。监督微调用真实与合成数据的混合体奠定基础策略。0.8B和4B模型均被训练，其中0.8B模型作为可部署的学生模型，4B模型作为强化学习的基座。

强化学习阶段采用Group Relative Policy Optimization，利用可验证的奖励来优化策略。奖励设计为多组件，分别评估文本、表格和公式。页面奖励通过平均参考中存在的组件得分来计算：
$R(y, y^*) = \frac{\sum_{c \in \mathcal{C}} a_c(y^*) s_c(y, y^*)}{\sum_{c \in \mathcal{C}} a_c(y^*)}$R(y,y∗)=∑c∈C​ac​(y∗)∑c∈C​ac​(y∗)sc​(y,y∗)​
其中$a_c(y^*)$ac​(y∗)表示组件$c$c在参考中的可用性。

为了将奖励对齐的行为从4B教师模型迁移至0.8B学生模型，作者采用了on-policy蒸馏。直接在紧凑模型上进行强化学习会导致更高的策略偏移和不稳定的表格质量。

在on-policy蒸馏过程中，学生生成完整的页面输出，教师通过token级分布监督来评估这些轨迹。目标是学生top-k逆向KL散度。给定文档图像和指令$x$x，学生策略$\pi_\theta$πθ​采样响应$y$y。教师策略$\pi_\phi$πϕ​评估学生top-k支持集$S_t = \text{TopK}_k(\pi_\theta(\cdot \mid c_t))$St​=TopKk​(πθ​(⋅∣ct​))中token的条件概率。在该支持集内对分布进行归一化：
$\bar{p}_{t,v} = \frac{\pi_\theta(v \mid c_t)}{\sum_{u \in S_t} \pi_\theta(u \mid c_t)}, \quad \bar{q}_{t,v} = \frac{\pi_\phi(v \mid c_t)}{\sum_{u \in S_t} \pi_\phi(u \mid c_t)}, \quad v \in S_t$pˉ​t,v​=∑u∈St​​πθ​(u∣ct​)πθ​(v∣ct​)​,qˉ​t,v​=∑u∈St​​πϕ​(u∣ct​)πϕ​(v∣ct​)​,v∈St​
然后计算蒸馏损失：
$L_{\text{OPD}}(\theta) = \frac{1}{|I|} \sum_{t \in I} D_{\text{KL}}(\bar{p}_t \| \bar{q}_t)$LOPD​(θ)=∣I∣1​∑t∈I​DKL​(pˉ​t​∥qˉ​t​)
其中$I$I表示有效响应token位置。这种逆向KL方向鼓励模式寻求行为，抑制学生将概率质量分配给教师认为不可能的token。

最后，作者对多个候选模型变体应用加权参数平均，生成最终的融合模型。

实验

OvisOCR2与通用和专用视觉-语言模型（包括流水线和端到端方法）在OmniDocBench v1.6、PureDocBench以及覆盖多种文档类型的内部基准测试上进行了对比评测。紧凑的0.8B模型在OmniDocBench和PureDocBench（clean和digital赛道）上取得了最优的总体分数，超越了更大的流水线方法，但在真实世界退化图像上落后于大型通用VLM，这表明需要提高鲁棒性。在内部基准测试中，OvisOCR2在文本、公式、表格和阅读顺序指标上持续领先，在手写和复杂表格方面尤为突出，避免了困扰流水线系统的表格缺失错误。

RL奖励将页面级解析质量分解为三个组件特定分数：通过归一化编辑距离衡量文本保真度，通过CDM衡量视觉公式匹配，通过TEDS衡量表格结构。仅对真值中存在的组件取平均来形成最终奖励，避免了单一文本相似度指标，并防止缺失的内容类型不公平地惩罚模型。文本保真度通过1减去归一化编辑距离来衡量。公式解析质量使用CDM（字符检测匹配），一种图像级别的视觉公式匹配指标。表格相似度通过TEDS评估，这是一种基于树编辑距离的指标，同时捕获表格内容和拓扑结构。

OvisOCR2在OmniDocBench v1.6文档解析基准测试上取得了最优性能，以紧凑的0.8B模型超越了流水线和端到端方法。它取得了最低的文本编辑距离、最高的公式识别分数、并列表格结构最高分以及最低的阅读顺序误差，在所有评测维度上展现了全面的提升。OvisOCR2的总体分数达到96.58，比之前最优的端到端方法高出1.84分。该模型实现了最低的文本编辑距离和最高的公式CDM分数，表明其文本和公式识别能力极佳。OvisOCR2在表格TEDS上并列第一，并在TEDS-S上领先，反映了即使在结构复杂的页面上也能稳健地重建表格。它取得了最低的阅读顺序编辑距离，展示了在多种布局上精准恢复块序列顺序的能力。

OvisOCR2在PureDocBench上取得了最高的总体平均分数，在clean和digital赛道上领先。在real赛道上，它落后于Gemini-3.1-Pro和Qwen3.5-122B-A10B等强大的通用视觉-语言模型，表明在处理退化的真实世界图像方面仍有改进空间。OvisOCR2的Avg3分数为75.06，超越了所有列出的模型，包括最佳通用VLM Qwen3.5-122B-A10B（74.11）。虽然OvisOCR2在clean和digital赛道上排名第一，但在real赛道上得分低于Gemini-3.1-Pro和Qwen3.5-122B-A10B，突显了在物理重拍和屏幕媒介图像上的挑战。

在内部基准测试上，OvisOCR2取得了最高的总体分数85.54，以明显的优势超越了所有其他模型。同时，它取得了最低的文本编辑距离、最低的阅读顺序编辑距离、最高的公式CDM分数以及最高的表格TEDS和TEDS-S分数，在所有评估维度上展现了持续的优势。OvisOCR2的总体分数为85.54，比第二名模型高出2.66分。文本编辑距离降至0.0850，比第二好的0.1292低得多。阅读顺序编辑距离为0.1885，在所有对比系统中最低。公式CDM分数86.32为最高纪录，领先次优的85.13。表格TEDS（78.80）和TEDS-S（82.87）均排名第一，表明其表格结构识别能力最佳。

OvisOCR2在内部基准测试的所有三个难度级别上均处于领先地位，且随着复杂度的增加优势愈发显著。在最接近的竞争对手于简单和中等文档上落后约2–3分的情况下，在困难文档上差距扩大到近4分，突显了对挑战性布局的更强鲁棒性。OvisOCR2在每个难度级别上均取得最高分，超越了PaddleOCR-VL-1.6、GLM-OCR及更早期的模型。OvisOCR2从简单到困难的性能下降明显小于其他方法，因此在困难文档上的绝对领先优势更大。

OvisOCR2采用结构化的RL奖励，分别评估文本保真度、公式匹配和表格结构，以避免惩罚缺失的内容类型。它以紧凑的0.8B模型在OmniDocBench上实现了最优的文档解析，在文本、公式、表格和阅读顺序指标上超越了以往的端到端方法。在PureDocBench上，它在clean和digital文档上领先，但在退化的真实世界图像上落后于大型通用VLM，表明在处理物理重拍方面存在弱点。模型的优势随着布局复杂度的增加而扩大，在内部基准测试的困难文档上领先优势不断扩大，突显了在挑战性页面结构上的稳健性能。