アクション構造グラフ畳み込みネットワークによる骨格に基づく動作認識

骨格データを用いた動作認識は、最近コンピュータビジョンの分野で大きな注目を集めています。これまでの研究では、固定された骨格グラフが主に使用されており、関節間の局所的な物理的依存関係のみを捉えるため、潜在的な関節相関を逃す可能性があります。より豊かな依存関係を捉えるために、我々はエンコーダー-デコーダー構造であるA-link推論モジュールを導入し、動作から直接動作特異的な潜在的依存関係（アクショナルリンク）を抽出します。また、既存の骨格グラフを拡張して高次依存関係（構造的リンク）を表現します。これらの2種類のリンクを一般化した骨格グラフに組み込むことで、空間的および時間的特徴を学習するためのアクショナル-構造的グラフ畳み込みネットワーク（AS-GCN）を提案します。AS-GCNは、アクショナル-構造的グラフ畳み込みと時間畳み込みを基本ブロックとして積み重ねます。さらに、自己監督を通じてより詳細な動作パターンを捉えるために、認識ヘッドと並行して将来姿勢予測ヘッドを追加します。我々はNTU-RGB+DおよびKineticsという2つの骨格データセットを使用して、AS-GCNの動作認識性能を検証しました。提案されたAS-GCNは、最先端の手法と比較して一貫して大幅な改善を達成しています。副産物として、AS-GCNは将来姿勢予測においても有望な結果を示しています。