TrOCR：基于预训练模型的Transformer光学字符识别

文本识别是文档数字化领域长期存在的研究难题。现有的方法通常基于卷积神经网络（CNN）进行图像理解，并结合循环神经网络（RNN）实现字符级文本生成。此外，为提升整体识别准确率，通常还需引入另一语言模型作为后处理步骤。本文提出一种端到端的文本识别方法——TrOCR，该方法结合预训练的图像Transformer与文本Transformer模型，利用Transformer架构同时完成图像理解与词片（wordpiece）级别的文本生成。TrOCR模型结构简洁但效果显著，可基于大规模合成数据进行预训练，并在人工标注数据集上进行微调。实验结果表明，TrOCR在印刷体、手写体及场景文本识别任务上均优于当前最先进的模型。TrOCR模型及相关代码已公开，获取地址为：\url{https://aka.ms/trocr}。