HyperAIHyperAI

Command Palette

Search for a command to run...

TrOCR:基于预训练模型的Transformer光学字符识别

Minghao Li Tengchao Lv Jingye Chen Lei Cui Yijuan Lu Dinei Florencio Cha Zhang Zhoujun Li Furu Wei

摘要

文本识别是文档数字化领域长期存在的研究难题。现有的方法通常基于卷积神经网络(CNN)进行图像理解,并结合循环神经网络(RNN)实现字符级文本生成。此外,为提升整体识别准确率,通常还需引入另一语言模型作为后处理步骤。本文提出一种端到端的文本识别方法——TrOCR,该方法结合预训练的图像Transformer与文本Transformer模型,利用Transformer架构同时完成图像理解与词片(wordpiece)级别的文本生成。TrOCR模型结构简洁但效果显著,可基于大规模合成数据进行预训练,并在人工标注数据集上进行微调。实验结果表明,TrOCR在印刷体、手写体及场景文本识别任务上均优于当前最先进的模型。TrOCR模型及相关代码已公开,获取地址为:\url{https://aka.ms/trocr}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供