要約
その簡潔さと堅牢性により、骨格ベースの動作認識は最近多くの注目を集めています。既存の方法の多くは、再帰型ネットワーク、畳み込みニューラルネットワーク、グラフ畳み込みニューラルネットワークなどの局所ネットワークを用いて、空間時間的な動態を階層的に抽出しています。その結果、詳細情報と意味情報（それぞれがより多くの詳細と意味を持つ）が異なるレベルの層で非同期に捉えられています。さらに、既存の方法は空間時間領域に限定されており、周波数領域の情報を無視しています。多領域から同期的に詳細情報と意味情報をよりよく抽出するため、我々は周波数領域における識別パターンに焦点を当てる残差周波数注意ブロック（residual frequency attention block: rFA）と、空間時間領域における詳細情報と意味情報を同時に捉える同期局所および非局所ブロック（synchronous local and non-local block: SLnL）を提案します。また、学習プロセス全体を最適化するためにソフトマージンフォーカルロス（soft-margin focal loss: SMFL）も提案しており、これは自動的にデータ選択を行い、分類器において内在的なマージンを促進します。我々の手法は複数の大規模データセットにおいて他の最先端手法を大幅に上回る性能を示しています。