Command Palette
Search for a command to run...
DeGCN:スキーマに基づく行動認識のための可変グラフ畳み込みネットワーク
DeGCN:スキーマに基づく行動認識のための可変グラフ畳み込みネットワーク
Guijin Wang Jing-Hao Xue Nan Su Woomin Myung
概要
近年、骨格に基づく行動認識において、人体のグラフ構造を活用するため、グラフ畳み込みネットワーク(GCN)が注目されている。しかし、これらの多くは、さまざまな行動サンプルに対して柔軟性に欠ける固定パターンでメッセージを集約しており、クラス内多様性の認識や、冗長的あるいは有害な接続を含みがちな骨格時系列データに適応する能力に欠けている。本稿では、最も情報量の多い関節を適応的に捉えるための新規な可変グラフ畳み込みネットワーク(Deformable Graph Convolutional Network, DeGCN)を提案する。本手法は、空間的および時間的グラフ上で可変的なサンプリング位置を学習可能とし、識別的な受容 field(受容野)をモデルが捉えることを可能にする。特に、人間の行動は本質的に連続的であることに着目し、対応する時間的特徴を連続的な潜在空間に定義している。さらに、関節モダリティと骨モダリティのアンサンブル効果を顕著に高める新しいマルチブランチフレームワークを設計した。広範な実験により、提案手法がNTU RGB+D、NTU RGB+D 120、NW-UCLAの3つの広く用いられるデータセットにおいて、最先端の性能を達成することが確認された。