要約
自然動画におけるイベントは、通常、アクターとオブジェクトの空間時間的な相互作用から生じ、複数の同時発生する活動やオブジェクトクラスを含みます。この豊かな視覚的および意味的なコンテキストを捉えるために、我々は2つのグラフの使用を提案します。(1) アクターとオブジェクトに対応するノードと、異なる種類の相互作用を符号化するエッジを持つ属性付き空間時間的視覚グラフ、(2) 意味関係をモデル化するシンボリックグラフです。さらに、我々はこれらのハイブリッドグラフ上のアクターやオブジェクト、それらの相互作用の表現を洗練するために、グラフニューラルネットワーク（GNN）の使用を提案します。当モデルは、ノードとエッジが同じタイプであるという前提で動作し、固定されたエッジ重みを持つグラフを使用し、シンボリックグラフを利用しない現在のアプローチを超えたものです。特に、当フレームワークは以下の特徴を持っています。(a) 異なるノードタイプとエッジタイプに特化した注意に基づくメッセージ関数；(b) 視覚的なエッジ特徴量の利用；(c) 視覚的証拠とラベル関係の統合；(d) 意味空間での全体的な推論を行う能力です。チャラデスデータセット上の時系列アクション局所化などの困難な動画理解タスクに関する実験では、提案手法が最先端の性能を達成することを示しています。