要約
視覚監視システムにおいて、人々が携帯電話、カップ、またはプラスチックバッグなどの物体を取り扱う行動を認識することは重要である。本論文では、この問題に対処するために、ヒューマンポーズとオブジェクトポーズを使用したグラフ畳み込みネットワークによる物体関連のヒューマンアクション認識の新しいフレームワークを提案する。このフレームワークでは、ビデオ内の情報量の多いフレームを選択的にサンプリングし、姿勢推定で得られた高信頼度スコアを持つヒューマンジョイントを含む信頼性のあるヒューマンポーズの骨格グラフを構築する。サンプリングされたフレームから生成される骨格グラフは、空間領域と時間領域の両方で物体位置に関連するヒューマンポーズを表現し、これらのグラフがグラフ畳み込みネットワークへの入力として使用される。公開ベンチマークデータセットおよび自社データセットを用いた実験を通じて、我々の方法が骨格ベースのアクション認識における最先端手法を上回ることを確認し、本フレームワークの有効性を検証した。