骨格に基づく動作認識のためのグラフ畳み込みの解明と統一

空間時間グラフは、骨格ベースの動作認識アルゴリズムにおいて、人間の動作動態をモデル化するために広く使用されています。これらのグラフから堅牢な動きのパターンを捉えるためには、長距離および多スケールコンテキストの集約と空間時間依存関係のモデリングが強力な特徴抽出器にとって重要な側面です。しかし、既存の手法には（1）多スケール演算子における偏りのない長距離ジョイント関係モデリングと（2）複雑な空間時間依存関係を捉えるための遮断されないクロススペースタイム情報流が達成しづらいという制限があります。本研究では、（1）多スケールグラフ畳み込みを解離する単純な方法と（2）G3Dと名付けられた統一された空間時間グラフ畳み込み演算子を提案します。提案される多スケール集約スキームは、異なる近傍におけるノード的重要性を解離し、効果的な長距離モデリングを実現します。提案されるG3Dモジュールは、直接的な情報伝播のために空間時間グラフ全体にわたる密接なクロススペースタイムエッジを使用してスキップ接続として機能します。これらの提案を組み合わせることで、MS-G3Dと名付けられた強力な特徴抽出器を開発しました。この特徴抽出器に基づいて構築されたモデルは、NTU RGB+D 60、NTU RGB+D 120、Kinetics Skeleton 400 の3つの大規模データセットにおいて、以前の最先端手法を上回る性能を示しています。