HyperAIHyperAI

Command Palette

Search for a command to run...

人間パージングモダリティの行動認識への応用

Jinfu Liu*1 Runwei Ding*2 Yuhang Wen1 Nan Dai4 Fanyang Meng3 Shen Zhao†1 Mengyuan Liu†2

概要

多モーダルに基づく行動認識手法は、ポーズとRGBモーダルを使用することで高い成功を収めています。しかし、骨格シーケンスは外観の描写が不足しており、RGB画像はモーダルの制限により無関係なノイズに悩まされます。この問題に対処するため、本研究では新たなモーダルとしてヒューマンパーシング特徴マップを導入します。これは、身体部位の効果的な意味論的特徴を選択的に保持しながら、大部分の無関係なノイズをフィルタリングできるためです。我々は、両方の骨格とヒューマンパーシングモーダルを活用した行動認識を行う初めての二重ブランチフレームワークであるEnsemble Human Parsing and Pose Network (EPP-Net)を提案します。最初のヒューマンポーズブランチでは、グラフ畳み込みネットワークに堅牢な骨格情報を供給してポーズ特徴をモデル化します。一方、第二のヒューマンパーシングブランチでは、描画的なパーシング特徴マップを使用し、畳み込みバックボーンを通じてパーシング特徴をモデル化します。これらの高次元特徴は、遅延融合戦略を通じて効果的に結合され、より優れた行動認識が可能になります。NTU RGB+DおよびNTU RGB+D 120ベンチマークでの広範な実験結果は一貫して我々が提案するEPP-Netの有効性を確認しており、既存の行動認識手法よりも優れた性能を示しています。当該コードは以下のURLで公開されています: https://github.com/liujf69/EPP-Net-Action.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
人間パージングモダリティの行動認識への応用 | 記事 | HyperAI超神経