HyperAIHyperAI

Command Palette

Search for a command to run...

LiLT:一种简单而有效的语言无关布局变换器用于结构化文档理解

Jiapeng Wang extsuperscript1 Lianwen Jin extsuperscript*1,3,4 Kai Ding extsuperscript2,3

摘要

结构化文档理解近年来受到了广泛关注并取得了显著进展,这主要归功于其在智能文档处理中的关键作用。然而,大多数现有的相关模型只能处理预训练数据集中包含的特定语言(通常是英语)的文档数据,这种局限性极大。为了解决这一问题,我们提出了一种简单而有效的无语言依赖布局变换器(Language-independent Layout Transformer, LiLT),用于结构化文档理解。LiLT 可以在单一语言的结构化文档上进行预训练,然后直接使用现成的单语或多语预训练文本模型对其他语言进行微调。实验结果表明,在八种不同语言上,LiLT 在多种广泛使用的下游基准测试中表现出色甚至优于现有方法,从而实现了从文档布局结构预训练中获得无语言依赖的好处。代码和模型已在 https://github.com/jpWang/LiLT 公开发布。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供