都柏林 -- 基于语言-图像网络的文档理解

视觉文档理解是一项复杂的任务，需要同时分析文档图像中的文本内容与视觉元素。现有模型通常依赖人工特征工程或特定领域的处理流程，这限制了其在不同文档类型和语言之间的泛化能力。本文提出了一种名为 DUBLIN 的新模型，该模型基于网页数据进行预训练，并引入三项创新的预训练目标：掩码文档文本生成任务（Masked Document Text Generation Task）、边界框预测任务（Bounding Box Task）以及渲染式问答任务（Rendered Question Answering Task），充分挖掘文档图像中的空间结构与语义信息。实验结果表明，DUBLIN 在多个基准测试中取得了具有竞争力甚至达到当前最先进水平的性能，涵盖基于网页的结构化阅读理解（Web-Based Structural Reading Comprehension）、文档视觉问答（Document Visual Question Answering）、关键信息提取（Key Information Extraction）、图表理解（Diagram Understanding）以及表格问答（Table Question Answering）等任务。特别地，DUBLIN 是首个在 WebSRC 数据集上实现 77.75 的精确匹配（EM）与 84.25 的 F1 分数的像素级模型。此外，在 DocVQA、InfographicsVQA、OCR-VQA 和 AI2D 等数据集上，DUBLIN 相较于当前最优的像素级模型，分别提升了 4.6%、6.5%、2.6% 和 21% 的性能表现。在 RVL-CDIP 文档分类任务中，DUBLIN 也展现出具有竞争力的性能。为进一步推动该方向的研究，我们还通过将原本基于文本的数据集渲染为文档图像形式，建立了新的基准线（baselines），以促进面向视觉文档理解的跨模态研究发展。