要約
視覚シーンの理解は、単独の物体を認識するだけでなく、それらの物体間の関係も含む豊富な意味情報を提供します。本研究では、画像の視覚的なグラフィカル構造であるシーングラフを使用して、物体とその関係を明示的にモデル化します。我々は、入力画像からこのような構造化されたシーン表現を生成する新しいエンドツーエンドモデルを提案します。このモデルは標準的なRNNを使用してシーングラフ推論問題を解決し、メッセージ伝播を通じて予測を反復的に改善することを学習します。我々の共同推論モデルは、文脈的な手がかりを利用して物体とその関係についてより良い予測を行うことができます。実験結果は、Visual Genomeデータセットを使用したシーングラフ生成およびNYU Depth v2データセットを使用した支持関係推論において、我々のモデルが従来の方法を大幅に上回ることを示しています。