要約
最近、深層グラフモデルの支援により、表構造認識は著しい進歩を遂げています。これらの大部分は、表要素の単一の視覚的特徴を活用するか、または早期統合を通じて視覚的特徴と他のモダリティを単純に組み合わせることで、それらのグラフ関係を推論しています。しかし、多様性が非常に高いさまざまな表構造に対して、早期統合や複数のモダリティによる個別の推論は必ずしも適切ではありません。むしろ、異なる表の場合には異なるパターンで異なるモダリティが互いに協力することが期待されます。コミュニティにおいて、表構造認識におけるモダリティ間相互作用の重要性はまだ十分に研究されていません。本稿では、これを異種表構造認識（Hetero-TSR）問題として定義します。このギャップを埋めるために、階層的な方法でモダリティ内コンテキストを抽出し、モダリティ間相互作用をモデル化するスタックされた協調ブロックを備えた新しいニューラル協調グラフマシン（NCGM）を提案します。これにより、表要素のモダリティ内・間の関係性をより堅牢に表現でき、認識性能が大幅に向上します。また、提案したNCGMがモダリティ内特徴のコンテキストに基づいて異なるモダリティの協調パターンを調整できることも示しました。これは多様な表構造に対応するために極めて重要です。ベンチマークでの実験結果は、提案したNCGMが最先端の性能を達成し、特に困難な状況下では他の最新手法よりも大幅に優れていることを証明しています。