人間パージングモダリティの行動認識への応用

多モーダルに基づく行動認識手法は、ポーズとRGBモーダルを使用することで高い成功を収めています。しかし、骨格シーケンスは外観の描写が不足しており、RGB画像はモーダルの制限により無関係なノイズに悩まされます。この問題に対処するため、本研究では新たなモーダルとしてヒューマンパーシング特徴マップを導入します。これは、身体部位の効果的な意味論的特徴を選択的に保持しながら、大部分の無関係なノイズをフィルタリングできるためです。我々は、両方の骨格とヒューマンパーシングモーダルを活用した行動認識を行う初めての二重ブランチフレームワークであるEnsemble Human Parsing and Pose Network (EPP-Net)を提案します。最初のヒューマンポーズブランチでは、グラフ畳み込みネットワークに堅牢な骨格情報を供給してポーズ特徴をモデル化します。一方、第二のヒューマンパーシングブランチでは、描画的なパーシング特徴マップを使用し、畳み込みバックボーンを通じてパーシング特徴をモデル化します。これらの高次元特徴は、遅延融合戦略を通じて効果的に結合され、より優れた行動認識が可能になります。NTU RGB+DおよびNTU RGB+D 120ベンチマークでの広範な実験結果は一貫して我々が提案するEPP-Netの有効性を確認しており、既存の行動認識手法よりも優れた性能を示しています。当該コードは以下のURLで公開されています: https://github.com/liujf69/EPP-Net-Action.