視覚、テキスト、およびレイアウトを統一して普遍的な文書処理を実現する

私たちはユニバーサルドキュメント処理（Universal Document Processing: UDOP）を提案します。これは、テキスト、画像、レイアウトのモダリティを統合し、ドキュメント理解や生成など多様なタスク形式に対応する基礎的なドキュメントAIモデルです。UDOPは、テキストコンテンツとドキュメント画像の空間的な相関関係を利用し、画像、テキスト、レイアウトの各モダリティを一貫した表現でモデル化します。革新的なビジョン-テキスト-レイアウトトランスフォーマーにより、UDOPは事前学習と多領域の下流タスクをプロンプトベースのシーケンス生成スキームに統合します。UDOPは、大規模なラベルなしドキュメントコーパスに対して革新的な自己監督目的を使用して事前学習されるとともに、多様なラベル付きデータも学習します。また、マスクされた画像再構成を通じてテキストとレイアウトのモダリティからドキュメント画像を生成することも学びます。私たちが知る限り、このモデルはドキュメントAI分野において初めて高品質なニューラルドキュメント編集とコンテンツカスタマイズを同時に実現しています。当方法は金融報告書、学術論文、ウェブサイトなどの多様なデータドメインにおける8つのドキュメントAIタスクで最先端の成果を達成しており、Document Understanding Benchmarkのリーダーボードで1位となっています。