アクター中心の関係ネットワーク

現在の最先端の空間時間的な行動局在化手法は、フレームレベルでの検出に依存し、3D ConvNetsを用いて時間的な文脈をモデル化しています。本研究では、その一歩先へ進み、空間時間的な関係をモデル化することで、人間のアクター、関連する物体、およびシーン要素間の相互作用を捉え、類似した人間の行動を区別するために重要な情報を抽出します。当手法は弱教師ありであり、アクターセンタリックな関係ネットワーク（Actor-Centric Relational Network: ACRN）を用いて関連要素を自動的に掘り起こします。ACRNはアクターと全体的なシーン特徴から対象間の関係情報を計算・蓄積し、行動分類のために関係特徴を生成します。これはニューラルネットワークとして実装され、既存の行動検出システムと共に共同で学習することができます。我々はACRNが関係情報を捉える代替手法よりも優れていることを示し、提案されたフレームワークがJHMDBおよびAVAにおける最先端の性能を超えることを確認しました。学習された関係特徴の可視化により、当手法が各行動に関連する重要な関係に注目できることを確認しています。