意味論ガイダンス付きニューラルネットワークを用いた効率的な骨格ベースの人間行動認識

骨格に基づく人間の動作認識は、人間の骨格データへの容易なアクセス性により大きな関心を集めています。最近では、計算効率を考慮せずに、非常に深いフィードフォワードニューラルネットワークを使用して関節の3次元座標をモデル化する傾向があります。本論文では、単純でありながら効果的な意味論誘導型ニューラルネットワーク（Semantics-Guided Neural Network, SGN）を提案します。このネットワークでは、関節の高レベルな意味論（関節タイプとフレームインデックス）を明示的に導入し、特徴表現能力を向上させます。さらに、2つのモジュールを通じて階層的に関節間の関係を活用します。すなわち、同一フレーム内の関節間の相関関係をモデル化する関節レベルモジュールと、同一フレーム内のすべての関節をまとめて処理することでフレーム間の依存関係をモデル化するフレームレベルモジュールです。また、この分野の研究を促進するために強力なベースラインも提案しています。SGNは、ほとんどの先行研究よりも一桁小さいモデルサイズで、NTU60、NTU120およびSYSUデータセットにおいて最先端の性能を達成しています。ソースコードは https://github.com/microsoft/SGN で利用可能です。