VisualWordGrid：基于多模态方法的扫描文档信息提取

我们提出了一种新型的扫描文档表示方法，用于实现字段提取。该方法能够将文本、视觉及版面信息同时编码为一个三维张量，作为分割模型的输入。我们在近期提出的Chargrid和Wordgrid模型 \cite{chargrid} 的基础上进行了多项改进：首先引入了视觉模态信息，其次在保持推理时间较低的前提下，显著提升了模型在小数据集上的鲁棒性。所提出的方法在公开及私有文档图像数据集上进行了测试，实验结果表明，其性能优于当前最新的先进方法。