時系列-チャネル集約を用いた骨格ベースの行動認識

骨格ベースの行動認識手法は、時空間的な骨格マップの意味抽出に制限を受けています。しかし、現在の手法は時系列および空間的グラフ次元からの特徴を効果的に統合する点で困難を抱えており、しばしば一方の次元に偏りが生じる傾向にあります。本論文では、骨格ベースの行動認識において、空間的および時系列的トポロジーを動的に学習し、異なる時系列およびチャネル次元におけるトポロジー特徴を効率的に集約するための「時系列-チャネル集約型グラフ畳み込みネットワーク（Temporal-Channel Aggregation Graph Convolutional Networks, TCA-GCN）」を提案します。本手法では、時系列次元の特徴を学習するための「時系列集約モジュール」と、空間的動的チャネルごとのトポロジー特徴と時系列的動的トポロジー特徴を効率的に統合する「チャネル集約モジュール」を採用しています。さらに、時系列モデリングにおいてマルチスケールの骨格特徴を抽出し、注目メカニズム（attention mechanism）を用いて融合しています。広範な実験により、本モデルがNTU RGB+D、NTU RGB+D 120、およびNW-UCLAデータセットにおいて、最先端の手法を上回る性能を達成することが確認されました。