グラフパーシングニューラルネットワークを用いた人間-物体相互作用の学習

本論文では、画像および動画における人間と物体の相互作用（Human-Object Interaction: HOI）の検出と認識の課題について取り扱っています。グラフパーシングニューラルネットワーク（Graph Parsing Neural Network: GPNN）を導入し、構造的な知識を取り入れつつ、エンドツーエンドで微分可能なフレームワークを提案します。与えられたシーンに対して、GPNNはi) 隣接行列によって表現されるHOIグラフ構造とii) ノードラベルを推論します。メッセージ伝播推論フレームワーク内で、GPNNは反復的に隣接行列とノードラベルを計算します。我々はHICO-DET、V-COCO、CAD-120データセットという3つのHOI検出ベンチマークにおいてモデルを広範に評価しました。我々のアプローチは既存の最先端手法を大幅に上回り、GPNNが大規模なデータセットに対応可能であり、空間時間的な設定にも適用できることを確認しています。コードはhttps://github.com/SiyuanQi/gpnn で公開されています。