LiLT: 言語に依存しない単純かつ効果的なレイアウトトランスフォーマーによる構造化ドキュメント理解

構造化ドキュメント理解は、その知能型ドキュメント処理における重要な役割により、最近大きな注目を集め、著しい進歩を遂げています。しかし、既存の関連モデルの多くは、事前学習コレクションに含まれる特定の言語（通常は英語）のドキュメントデータのみを扱うことができ、これは非常に制限されています。この問題に対処するため、私たちは単純でありながら効果的な言語非依存レイアウトトランスフォーマー（Language-independent Layout Transformer: LiLT）を提案します。LiLTは、単一言語の構造化ドキュメントで事前学習を行うことができ、その後、対応する既製の単一言語または多言語の事前学習済みテキストモデルを使用して他の言語に対して直接微調整することができます。8つの言語での実験結果は、LiLTが多様な広く使用されている下流ベンチマークにおいて競争力のある、あるいはそれ以上の性能を達成できることを示しており、これによりドキュメントレイアウト構造の事前学習から言語非依存的に恩恵を受けられるようになります。コードとモデルは公開されており、https://github.com/jpWang/LiLT からアクセスできます。