グラフニューラルネットワークを用いた状況認識

画像中の状況認識の問題に取り組んでいます。与えられた画像に対して、最も目立つ動詞（動作）を予測し、その動作を行う主体や動作の出発点と到達点などの意味役割を埋めることが課題です。異なる動詞には異なる役割が存在します（例：攻撃には武器）。また、各役割は多くの可能な値（名詞）を持つことができます。本研究では、グラフ上に定義されたニューラルネットワークを使用して、役割間の共同依存関係を効率的に捉えることができるグラフニューラルネットワークに基づくモデルを提案します。異なるグラフ接続性での実験結果から、我々のアプローチが役割間で情報を伝播させることにより、既存の研究や複数のベースラインを大幅に上回ることが示されました。全体的な状況予測において、前研究比で約3-5%の改善が得られました。さらに、モデルの詳細な質的分析を行い、異なる動詞における各役割の影響についても考察しています。