1ヶ月前
空間時間注意を用いた手のジェスチャ認識のための動的グラフの構築
Yuxiao Chen; Long Zhao; Xi Peng; Jianbo Yuan; Dimitris N. Metaxas

要約
手のジェスチャ認識のための動的グラフベースの空間時間注意(Dynamic Graph-Based Spatial-Temporal Attention: DG-STA)手法を提案します。本手法の基本的な考え方は、まず手の骨格から完全に接続されたグラフを構築し、そのノード特徴量とエッジを空間領域と時間領域で動作する自己注意機構を通じて自動的に学習することです。さらに、関節位置の空間時間的なヒントを利用することで、困難な条件下でも堅牢な認識を保証します。また、新たな空間時間マスクを適用することで、計算コストを99%削減しています。我々は(DHG-14/28およびSHREC'17)ベンチマークにおいて広範な実験を行い、本手法が最先端の手法と比較して優れた性能であることを証明しました。ソースコードは以下のURLから入手可能です:https://github.com/yuxiaochen1103/DG-STA。