HyperAIHyperAI

Command Palette

Search for a command to run...

LiLT: 言語に依存しない単純かつ効果的なレイアウトトランスフォーマーによる構造化ドキュメント理解

Jiapeng Wang extsuperscript1 Lianwen Jin extsuperscript*1,3,4 Kai Ding extsuperscript2,3

概要

構造化ドキュメント理解は、その知能型ドキュメント処理における重要な役割により、最近大きな注目を集め、著しい進歩を遂げています。しかし、既存の関連モデルの多くは、事前学習コレクションに含まれる特定の言語(通常は英語)のドキュメントデータのみを扱うことができ、これは非常に制限されています。この問題に対処するため、私たちは単純でありながら効果的な言語非依存レイアウトトランスフォーマー(Language-independent Layout Transformer: LiLT)を提案します。LiLTは、単一言語の構造化ドキュメントで事前学習を行うことができ、その後、対応する既製の単一言語または多言語の事前学習済みテキストモデルを使用して他の言語に対して直接微調整することができます。8つの言語での実験結果は、LiLTが多様な広く使用されている下流ベンチマークにおいて競争力のある、あるいはそれ以上の性能を達成できることを示しており、これによりドキュメントレイアウト構造の事前学習から言語非依存的に恩恵を受けられるようになります。コードとモデルは公開されており、https://github.com/jpWang/LiLT からアクセスできます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
LiLT: 言語に依存しない単純かつ効果的なレイアウトトランスフォーマーによる構造化ドキュメント理解 | 記事 | HyperAI超神経