LayoutLMv2: 視覚的に豊かな文書理解のための多モーダル事前学習

テキストとレイアウトの事前学習は、その効果的なモデルアーキテクチャと大規模なラベルなしスキャン済み/デジタルネイティブ文書の利点により、視覚的に豊かな文書理解タスクにおいて有効性が証明されています。本研究では、テキスト、レイアウト、画像の相互作用を単一のマルチモーダルフレームワークでモデル化するための新しい事前学習タスクを導入したLayoutLMv2アーキテクチャを提案します。具体的には、2ストリームマルチモーダルトランスフォーマーエンコーダを使用し、既存のマスクされた視覚言語モデリングタスクだけでなく、新たなテキスト-画像アライメントタスクとテキスト-画像マッチングタスクも利用することで、事前学習段階でのクロスモーダル相互作用をよりよく捉えることができます。さらに、トランスフォーマーアーキテクチャに位置情報を考慮した自己注意メカニズムを統合することで、異なるテキストブロック間の相対的な位置関係を完全に理解できるようにしています。実験結果は、LayoutLMv2がLayoutLMに対して大幅に優れており、FUNSD（0.7895 → 0.8420）、CORD（0.9493 → 0.9601）、SROIE（0.9524 → 0.9781）、Kleister-NDA（0.8340 → 0.8520）、RVL-CDIP（0.9443 → 0.9564）、DocVQA（0.7295 → 0.8672）など、多様な下流の視覚的に豊かな文書理解タスクで新たな最先端の結果を達成していることを示しています。当方はモデルとコードを公開しており、詳細は\url{https://aka.ms/layoutlmv2}からアクセスできます。