要約
骨格ベースの動作認識は、骨格データ内の関節座標とその接続性に基づいて人間の動作を分類する技術であり、様々な場面で広く利用されています。グラフ表現された骨格データに対して提案されてきたグラフ畳み込みネットワーク（GCNs）は、関節の接続性によって制約される受容野が限られているという問題があります。この課題に対処するために、最近の進歩ではトランスフォーマーを基にした手法が導入されました。しかし、全てのフレームにおける全ての関節間の相関関係を捉えるには、多大なメモリリソースが必要となります。これを軽減するため、我々は新たなアプローチであるSkeletal-Temporal Transformer（SkateFormer）を提案します。この方法では、異なる種類の骨格時空間関係（Skate-Type）に基づいて関節とフレームを分割し、各分割内で骨格時空間自己注意（Skate-MSA）を行います。我々は動作認識に重要な骨格時空間関係を物理的に近接しているか遠隔にあるかという2つの骨格関係タイプと、近接しているか遠隔にあるかという2つの時間関係タイプから構成される合計4つの異なるタイプに分類しました。この分割特異的な注意戦略により、我々のSkateFormerは効率的な計算で動作適応的に重要な関節とフレームに焦点を当てることが可能となります。様々なベンチマークデータセットでの広範な実験結果により、我々のSkateFormerが最近の最先端手法よりも優れていることが確認されました。