骨格に基づく行動認識のための多粒度時空間グラフネットワークの学習

骨格に基づく行動認識の課題は、人間中心のシーン理解において依然として中心的な課題の一つであり、人間の運動に見られる多様なスケール性と大きな変動性がその要因となっている。従来のアプローチは、異なる運動パターンに対して単一のニューラル表現を用いることが多く、限られた訓練データ下では細粒度な行動クラスを十分に捉えることが難しい。本研究では、上記の課題を解決するため、粗粒度および細粒度の骨格運動パターンを統合的にモデル化できる、新しいマルチスケール時空間グラフネットワークを提案する。具体的には、二つの交互に接続されたブランチから構成されるデュアルヘッドグラフネットワークを設計し、効率的かつ効果的に二つの時空間解像度における特徴を抽出することを可能にした。さらに、両ヘッドの表現を相互に強化するためのクロスヘッド通信戦略を導入した。本手法は、NTU RGB+D 60、NTU RGB+D 120、Kinetics-Skeletonの3つの大規模データセットにおいて広範な実験を行い、すべてのベンチマークで最先端の性能を達成した。これにより、本手法の有効性が実証された。