空間時系列グラフ畳み込みネットワークにおける頂点特徴符号化と階層的時系列モデリングによる行動認識

本論文では、骨格データに基づく行動認識に向けた空間時間グラフ畳み込みネットワーク（ST-GCN）の拡張として、新たな2つのモジュール、すなわちグラフ頂点特徴符号化器（GVFE）と拡張階層的時系列畳み込みネットワーク（DH-TCN）を導入する。一方で、GVFEモジュールは、原始的な骨格データを新たな特徴空間に符号化することで、行動認識に適した頂点特徴を学習する。他方で、DH-TCNモジュールは階層的な拡張畳み込み構造を用いることで、短期的および長期的な時系列依存関係の両方を捉えることが可能である。本手法は、挑戦的なNTU RGB-D-60およびNTU RGB-D 120データセット上で実験された。得られた結果から、本手法は最先端のアプローチと競合しつつも、層数およびパラメータ数を少なく抑えることができた。その結果、必要な学習時間およびメモリ消費量の削減が実現された。