StrucTexTv2：文档图像预训练中的掩码视觉-文本预测

本文介绍了StrucTexTv2，一种通过执行掩码视觉-文本预测的有效文档图像预训练框架。该框架包含两个自监督预训练任务：基于文本区域级图像掩码的掩码图像建模和掩码语言建模。所提出的方法根据文本单词的边界框坐标随机掩码一些图像区域。我们的预训练任务的目标是同时重建被掩码的图像区域的像素及其对应的被掩码的标记。因此，与通常预测被掩码图像块的掩码图像建模相比，预训练编码器可以捕捉更多的文本语义。与依赖图像和文本两种模态的文档图像理解多模态掩码建模方法相比，StrucTexTv2仅对纯图像输入进行建模，并且在无需OCR预处理的情况下，能够应对更多应用场景。在主流文档图像理解基准上的广泛实验表明了StrucTexTv2的有效性。在端到端场景下，它在各种下游任务中（如图像分类、布局分析、表格结构识别、文档OCR和信息提取）取得了具有竞争力甚至最新的最先进性能。