11日前
骨格ベース行動認識のための新規プロトタイプ的アプローチ:差を理解するために重要な詳細を明らかにする
Hongda Liu, Yunfan Liu, Min Ren, Hao Wang, Yunlong Wang, Zhenan Sun

要約
骨格に基づく行動認識において、関節の軌道が類似する行動を区別するという課題は、骨格表現に画像レベルの詳細が欠如しているため、顕著な難題である。類似行動の区別が特定の身体部位における微細な運動詳細に依存することに着目し、本研究では局所的な骨格コンポーネントの細粒度な運動に注目したアプローチを提案する。これにより、我々は、行動ユニットの核心的な運動パターンを表す学習可能なプロトタイプの組み合わせとして、全体の骨格シーケンスのダイナミクスを分解するGraph Convolutional Network(GCN)ベースのモデル、ProtoGCNを導入する。プロトタイプの再構成を比較することで、ProtoGCNは類似行動の特徴表現を効果的に識別・強化することが可能となる。高度な構成要素を一切用いずに、NTU RGB+D、NTU RGB+D 120、Kinetics-Skeleton、FineGYMといった複数のベンチマークデータセットにおいて、最先端の性能を達成しており、本手法の有効性を実証している。コードは以下のURLにて公開されている:https://github.com/firework8/ProtoGCN。