人間-オブジェクトインタラクション検出のためのスケルトン認識グラフ畳み込みネットワーク

人間と物体の相互作用を検出することは、視覚シーンの包括的理解に不可欠である。特に、人間と物体の間の空間的関係は、相互作用を推論する上で重要な手がかりとなる。本研究では、人間-物体相互作用検出を目的として、骨格情報を考慮したグラフ畳み込みネットワークであるSGCN4HOIを提案する。本ネットワークは、人間のキーポイントと物体のキーポイント間の空間的関係を活用し、グラフ畳み込みを用いて細粒度な構造的相互作用を捉える。さらに、得られた幾何学的特徴を、人間-物体ペアから抽出した視覚特徴および空間的配置特徴と統合する。また、物体の構造情報をより良く保持し、人間-物体相互作用の検出を促進するために、新たな骨格に基づく物体キーポイント表現を提案する。SGCN4HOIの性能は、公開ベンチマークであるV-COCOデータセット上で評価された。実験結果から、提案手法は従来のポーズベースモデルを上回る性能を示し、他のモデルと比較しても競争力のある結果を達成した。