ドキュメントインテリジェンスは、文書から情報の抽出を自動化し、さまざまなビジネス応用を支援する。近年、大規模なラベルなしドキュメントデータセットを用いた自己教師学習手法の進展により、自己教師学習的な目的関数を用いてモデルを学習することで、ラベル付け作業を大幅に削減する可能性が示されている。しかし、現存する多くのドキュメント事前学習手法は依然として言語中心的である。本研究では、ドキュメント理解を統合的にサポートする新たな事前学習フレームワーク「UDoc」を提案する。UDocは、Transformerアーキテクチャを拡張し、マルチモーダルな埋め込みを入力として扱えるように設計されている。入力要素は、ドキュメント画像の意味的領域から得られる単語と視覚的特徴の組み合わせで構成される。UDocの重要な特徴は、文の表現、類似性の学習、モダリティ間の整合性を促進する3つの自己教師学習損失を活用して、汎用的な表現を学習することにある。広範な実証的分析により、この事前学習プロセスがより優れた共同表現を学習し、下流タスクにおいて性能向上をもたらすことが示された。