一句话总结

HunyuanOCR-1.5 是由中国科学院、腾讯和南开大学联合推出的轻量级端到端 OCR VLM，结合了 DFlash 解码加速（在 Transformer 上最高可达 $6.37\times$6.37× 的加速）与 agent 驱动的数据构建系统，以提升长尾 OCR 能力，在 OmniDocBench v1.6 上取得了最先进的结果，同时保持快速推理。

核心贡献

• HunyuanOCR-1.5 将 DFlash 投机解码适配到以 OCR 为中心的长输出生成中，在 Transformer 上实现了 6.37× 的推理加速，在 vLLM 下实现了 2.14× 的加速，从而在轻量级端到端 OCR VLM 中达到了最快的推理速度，同时保持了输出分布。
• 本文引入了 Agentic Data Flow，一个 agent 驱动的数据构建框架，该框架自动将模型弱点转化为可执行的数据需求，并自主进行素材搜索、质量验证和流水线开发，显著增强了在古文字 OCR、细粒度图表和表格解析、多图像文本中心 QA、低资源多语言解析以及文档幻觉评估等方面的长尾能力。
• 通过升级的预训练和后训练方案，该模型将其能力边界扩展到支持 4K 分辨率感知、128K 上下文理解以及多图像、多任务场景，并在 OmniDocBench v1.6 上确立了顶级的端到端文档解析性能，同时获得了显著的长尾收益。

引言

作者们针对视觉语言模型日益增长的需求，这些模型需要处理超越简单转录的多样化 OCR 任务，例如文档解析、信息抽取、视觉问答和多图像理解。先前的工作通常依赖于级联流水线，这些流水线存在错误传播问题，或者依赖于专注于文档解析的 OCR 专用 VLM，限制了它们的实际应用。在轻量级 HunyuanOCR-1.0 框架的基础上，作者们引入了 HunyuanOCR-1.5，它集成了基于 DFlash 的投机解码以实现更快的长输出生成，以及一个 agent 驱动的数据构建系统（Agentic Data Flow），将能力扩展到低资源 OCR、古文字和多图像推理，在实现显著推理加速的同时取得了最先进的端到端 OCR 性能。

数据集

作者们通过 Agentic Data Flow 系统构建新的训练数据，该系统将模型弱点转化为可执行的数据需求。该系统使用配备工具的 agent 来搜索、清洗和生成数据，然后通过人类反馈迭代优化流水线。生成的数据集针对三个能力缺口：

• 低资源 OCR 数据：覆盖 331 种语言的合成文本图像。agent 从网络收集多语言语料库和 TTF 字体，测试每种字体的渲染兼容性，并构建一个流水线，在多样化背景上渲染文本，并具有可控的布局和视觉风格。这些数据为多语言感知提供预训练监督。
• 古文字 OCR 数据：针对七种历史汉字字体的合成图像。agent 为每种字体收集多个 TTF 字体，并收集无文本的背景图像。通过运行 HunyuanOCR-1.0 和 Qwen3.5 对背景进行清洗，以过滤掉带有干扰文本或质量不稳定的图像。合成流水线支持多种书写方向、布局、字体和退化增强。这些数据在预训练期间补充了稀有字符形式。
• 多图像 QA 数据：源自多页 PDF 的问答对。agent 提取页面级文本和结构信息，将其组织成跨页上下文，并使用强大的文本模型生成需要跨页检索、比较、证据聚合或文档级推理的问题。过滤操作移除了仅凭单页即可回答的问题、与提取的上下文不一致的答案以及缺乏明确文本证据的问题。这些数据将模型扩展到多页文档理解。

额外数据包括从 HunyuanOCR-1.0 失败案例（漏识别、结构混乱、表格解析错误、阅读顺序错误）中挖掘的困难样本以及长尾布局样本。

在训练方案中，这些新的能力数据在第三个预训练阶段（Stage3）与来自 HunyuanOCR-1.0 的历史 OCR 数据混合。该混合保留了现有的 OCR 优势，同时扩展到低资源语言、古文字、多图像理解和困难场景。为了支持新数据，输入规格被扩大到最大图像分辨率 4K 和 128K token 的上下文窗口。

方法

作者们设计 HunyuanOCR-1.5 遵循紧凑、完全端到端的架构。它包含一个原生分辨率视觉编码器、一个自适应 MLP 连接器和一个轻量级语言模型。

参考框架图：

关键升级在于视觉编码器，它基于 Hunyuan-ViT 构建，将最大输入图像分辨率从 2K 扩展到 4K。这种缩放保留了原生宽高比和空间布局，同时捕获更精细的结构细节，这对于处理高密度文档、超大表格和复杂图表至关重要。自适应 MLP 连接器将高分辨率视觉特征压缩为紧凑的 token，同时保持布局敏感性。语言组件是一个轻量级的 Hunyuan-0.5B 模型，配备 XD-RoPE，处理这些 token 以自回归方式生成结构化的 OCR 输出，例如 Markdown 文档、HTML 表格和 LaTeX 公式，无需依赖任务特定的后处理模块。

为了解决文档解析场景中自回归解码的效率瓶颈，作者们采用了 DFlash。该方法使用一个轻量级的块扩散草案模型，在一次并行前向传递中预测一个候选 token 块。给定块大小 $B$B，草案模型一次性提出 $\hat{\mathbf{y}}_{1:B}$y^​1:B​，目标模型并行验证该块并接受最长的有效前缀。在训练期间，目标模型被冻结，仅优化 DFlash 草案模型。对于每个训练序列，目标模型运行一次以缓存其隐藏状态作为条件表示。然后，随机采样 $n$n 个锚点位置，每个对应一个独立的块起草任务。这些块被连接起来，并使用 FlexAttention 块对角掩码在单次前向传递中进行训练。

如下图所示：

每个块可以关注其锚点之前的目标隐藏状态以及同一块内的 mask token，而不同块之间保持隔离。作者们优化了一个位置加权的 next-token 交叉熵损失： $\mathcal{L}_{\mathrm{DFlash}} = \frac{1}{Z} \sum_{j=1}^{n} \sum_{k=1}^{B-1} w_{k}^{(j)} \left[ - \log p_{\theta} \left(y_{k}^{(j)} \mid \mathbf{h}_{<a_{j}}, \mathbf{m}_{1:B}^{(j)}\right) \right], \quad Z = \sum_{j=1}^{n} \sum_{k=1}^{B-1} w_{k}^{(j)}$LDFlash​=Z1​∑j=1n​∑k=1B−1​wk(j)​[−logpθ​(yk(j)​∣h<aj​​,m1:B(j)​)],Z=∑j=1n​∑k=1B−1​wk(j)​ 其中权重 $w_{k}^{(j)}$wk(j)​ 排除了锚点 token 和无效位置，指数衰减降低了更远位置的损失权重，因为这些位置更难预测。

为了扩展能力边界，作者们引入了由模型弱点驱动的 Agentic Data Flow 系统。

如下图所示：

算法工程师以自然语言提供目标能力需求。该 agent 自主分解任务，确定所需材料、工具调用和质量标准。该 agent 执行三项关键操作。第一，素材搜索与组织，涉及自主调用网络搜索和工具来收集多语言文本语料库、TTF 字体文件和渲染背景等材料。第二，工具辅助的素材清洗与质量验证，涉及调用工具清洗资源，过滤掉带有干扰文本的候选图像，并测试 TTF 文件的渲染兼容性。第三，面向弱点的数据流水线开发与迭代，涉及自主开发数据生产流水线、创建项目、编写脚本，并与工程师交互以根据反馈优化流水线。该系统在低资源 OCR、古文字 OCR 和多图像 QA 数据构建等任务中实例化。

训练流水线分为三个主要阶段：预训练、监督微调（SFT）和强化学习（RL）。在预训练阶段，作者们注入新构建的能力扩展数据，并将输入规格扩大到 4K 分辨率和 128K token 的上下文窗口。SFT 阶段通过优化数据质量、在 SFT 和 RL 之间划分数据以及统一跨任务的提示设计，准备一个干净、组织良好的训练集。RL 阶段使用可验证的奖励推动能力上限。

如下图所示：

作者们构建了一个针对 OCR 能力的奖励系统，由三个互补组件组成。第一个是面向事实性的文档解析奖励，旨在保证事实保真度。它将输出和参考解析为纯文本以及表格和图表等特殊元素。解析奖励的计算方式如下： $R_{\text{parse}} = \lambda_{1} R_{\text{text}} + \lambda_{2} \frac{1}{M} \sum_{j=1}^{M} R_{\mathrm{elem}} (e_{j})$Rparse​=λ1​Rtext​+λ2​M1​∑j=1M​Relem​(ej​) 对于表格，使用了 1D-probe 结构奖励和锚点引导的去风格化机制。对于图表，应用 SCRM 计算平均精度均值（mAP），使奖励对顺序排列不变。第二个组件是针对通用 QA 的基于一致性的评判奖励，它使用 LLM-as-a-judge 验证模型响应与高质量参考之间的一致性，为任意 QA 任务提供灵活的评分。第三个组件是用于稳定生成的退化抑制奖励，通过为超过预定义 token 限制或包含重复片段的 rollout 分配零奖励来抑制退化输出。

作者们采用 IcePop，一种 GRPO 风格策略优化的变体，以缓解训练-推理不匹配。优化目标为： $\mathcal{J}_{\mathrm{IcePop}}^{\mathrm{tok}}(\theta) = \mathbb{E}_{q, \{o_{i}\}_{i=1}^{G}} \left[ \frac{1}{Z} \sum_{i=1}^{G} \sum_{t=1}^{|o_{i}|} a_{i,t} s_{i,t} \left(\mathcal{L}_{i,t}^{\mathrm{PG}}(\theta) - \gamma \mathbb{D}_{\mathrm{KL},i,t}\right) \right]$JIcePoptok​(θ)=Eq,{oi​}i=1G​​[Z1​∑i=1G​∑t=1∣oi​∣​ai,t​si,t​(Li,tPG​(θ)−γDKL,i,t​)] 其中计算了一个 token 级校准比率，仅保留比率在指定区间内的 token，抑制由训练-推理差异引起的不稳定更新。

实验

HunyuanOCR-1.5 通过面向能力的 OCR 树进行评估，该树验证了核心解析、QA、定位和抽取任务，并新考察了长尾语言、古文字、多图像理解以及通过幻觉基准测试的输出忠实度。基于一致性的评判奖励灵活处理通用 QA 和翻译评分，而 DFlash 投机解码提供了最高 2.14× 的推理加速，在更长的输出上增益更大。边界能力实验表明，在古文字识别、低资源多语言解析、复杂表格和图表解析以及初步的多图像 QA 上取得了最先进的结果，且可见文本的忠实度有所提高，尽管绝对召回率仍然较低。在现有基准上，该模型进一步推进了端到端文档解析和文本定位，保持了翻译和信息抽取性能，并证明了能力扩展不会损害核心 OCR 优势。

HunyuanOCR-1.5 推进了端到端文档解析和文本定位，并引入了对无文本图像的稳健处理以避免幻觉输出。它在信息抽取、视频字幕提取和通用 OCR 感知 QA 上保持了先前性能，同时改善了多语言和多场景文本图像翻译，且未降低印刷文档翻译的质量。在内部无文本图像负样本集上，文本定位准确率从 78.1% 急剧上升到 99.8%，证明了有效抑制了误检。多语言和多场景文本图像翻译得到增强，而英译中印刷文档翻译仍接近前一版本的水平。信息抽取、视频字幕提取和 OCRBench 上的性能得以保持，表明已有的实用 OCR 能力没有损失。全页文档解析在文本、表格和阅读顺序等结构化元素上有所改进，尽管多行公式评估可能因协议不匹配而低估实际收益。

在单请求推理下，DFlash 解码在 OmniDocBench 上显著加速了 HunyuanOCR-1.5，在 vLLM 上实现了 2.14× 的加速，在 Transformers 上实现了 6.37× 的加速。该加速将每个样本的延迟从 3.032 秒降低到 1.408 秒（vLLM），从 34.850 秒降低到 5.474 秒（Transformers），同时在 vLLM 中使 token 吞吐量翻倍以上。Transformers 下更大的增益反映了其自回归基线更接近朴素的逐 token 解码，从而从投机解码中获益更多。DFlash 将 vLLM 延迟降低了 54%（从 3.032 秒到 1.408 秒），并将吞吐量从 466.9 提升到 1002.3 token/s。在 Transformers 下，DFlash 提供了 6.37× 的加速，将延迟从 34.850 秒降低到 5.474 秒。

在 OmniDocBench 上，采用 DFlash 解码的 HunyuanOCR-1.5 实现了最低的每页延迟（1.408 秒）和最高的吞吐量（0.706 页/秒），相比其自回归基线加速 2.14×。两级级联流水线（GLM-OCR、PaddleOCR-VL-1.6）比端到端自回归模型更快，但慢于 DFlash 加速的 HunyuanOCR-1.5，而其他端到端自回归系统则低于基线速度。采用 DFlash 的 HunyuanOCR-1.5 将平均延迟降低到每页 1.408 秒，相比同一模型的自回归模式实现了 2.14× 的加速，使其成为比较中最快的系统。两级方法（GLM-OCR、PaddleOCR-VL-1.6）相对于 HunyuanOCR-1.5 自回归基线分别实现了 1.83× 和 1.71× 的加速，但仍慢于 DFlash 加速的变体。

DFlash 投机解码为 HunyuanOCR-1.5 带来了显著的加速，且增益随着输出长度的增加而增长。在 Transformers 框架下，加速比从短输出的 4.56× 上升到极长输出的 6.67×，而有效接受长度保持在每步 8.3 到 9.3 token 之间。在 vLLM 上，对于测试的短输出范围，加速较为温和，为 1.31×。在 Transformers 上，对于最多 256 token 的输出，DFlash 将延迟从 7.3 秒降低到 1.6 秒，加速 4.56×。对于超过 2048 token 的输出，DFlash 实现了 6.67× 的加速，将延迟从 93.8 秒降低到 14.1 秒。Transformers 上的吞吐量从短输出的 28.1 token/s 提升到 126.1 token/s，从极长输出的 42.9 token/s 提升到 239.2 token/s。在所有输出长度区间中，有效接受长度保持在每投机步 8.3–9.3 token 的狭窄范围内。在 vLLM 下，DFlash 为短输出提供了 1.31× 的加速，将延迟从 0.95 秒降低到 0.72 秒。

DFlash 解码在所有内容类型上一致地降低了延迟并提高了吞吐量。最大的加速出现在表格页面上，在 Transformers 下达到 7.81×，在 vLLM 下达到 2.39×，而表格的有效接受长度峰值达到 10.40 token，表明结构化输出从投机解码中获益最多。DFlash 在表格页面上提供了最大的加速，加速因子分别为 7.81×（Transformers）和 2.39×（vLLM），而文本页面的增益较为温和。表格内容的有效接受长度最高（高达 10.40 token），表明表格密集的页面能够实现更高效的投机解码步骤。

HunyuanOCR-1.5 在文档解析、文本定位、翻译和信息抽取任务上进行了评估，展示了对无文本图像误检的稳健抑制以及改进的全页结构化解析，同时保留了先前的能力。DFlash 投机解码在 OmniDocBench 上进行了评估，带来了显著的延迟降低和吞吐量提升，这些增益随输出长度增长，并在表格等结构化内容上达到峰值。加速后的模型成为与自回归基线和两级级联流水线相比最快的系统，且未牺牲准确性。