HyperAIHyperAI

Command Palette

Search for a command to run...

MSA-GCN:適応的グラフ畳み込みを用いたマルチスケール時系列ダイナミクスの活用による骨格ベースの行動認識

Ji-Hyeong Han Kowovi Comivi Alowonou

概要

グラフ畳み込みネットワーク(GCN)は、骨格に基づく行動認識において広く用いられ、顕著な成果を上げている。現存するGCNに基づく手法は、骨格関節の局所的コンテキスト情報を用いて適応型グラフを構築し、特徴の集約を行うが、これにより体のさまざまな部位にまたがる連携動作を理解する能力が制限されている。関節のグローバルコンテキスト情報を基盤とする適応型グラフを構築することで、この制約を克服することが可能となる。本研究では、このような課題に対応するため、新しい骨格ベース行動認識手法として「マルチステージ適応型グラフ畳み込みネットワーク(MSA-GCN)」を提案する。本手法は、二つのモジュールから構成される:マルチステージ適応型グラフ畳み込み(MSA-GC)と時系列マルチスケールトランスフォーマー(TMST)。これらのモジュールは協調的に働き、骨格データ内に内在する複雑な空間的・時系列的パターンを効果的に捉える。具体的には、MSA-GCモジュールは、すべての時間系列にわたって関節の局所的およびグローバルなコンテキスト情報を探索し、適応型グラフを構築することで、関節間の複雑で微細な関係性をより深く理解することを可能にする。一方、TMSTモジュールは、ゲート付きマルチステージ時系列畳み込み(GMSTC)と時系列マルチヘッド自己注意(TMHSA)を統合し、行動系列におけるグローバルな時系列特徴を捉え、長期的および短期的な依存関係の両方を適切に扱う。多数のベンチマークデータセット(NTU RGB+D 60、NTU RGB+D 120、Northwestern-UCLA)における広範な実験の結果、MSA-GCNは最先端の性能を達成し、骨格ベース行動認識における有効性を実証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています