Command Palette
Search for a command to run...
関節軌道マップを用いた畳み込みニューラルネットワークによる動作認識
関節軌道マップを用いた畳み込みニューラルネットワークによる動作認識
Xin Li Zhiyong Chen Yonghong Tian
概要
畳み込みニューラルネットワーク(ConvNets)は最近、多くのコンピュータビジョンのタスク、特に画像ベースの認識において有望な性能を示しています。しかし、シーケンスベースのデータにConvNetsを効果的に適用する方法についてはまだ未解決の問題が残っています。本論文では、3次元骨格シーケンスに含まれる時空間情報を関節軌道とその動態を画像内の色分布にエンコードすることにより3つの2次元画像に表現する効果的かつ単純な手法を提案します。この手法はJoint Trajectory Maps (JTM)と呼ばれ、人間行動認識のためにConvNetsを使用して判別的な特徴を学習することを可能にします。このような画像ベースの表現により、既存のConvNetsモデルを骨格シーケンスの分類のために微調整することが可能になります(ネットワークを一から再学習せずに)。3つのJTMは3つの直交平面で生成され、互いに補完的な情報を提供します。最終的な認識精度は、3つのJTMのスコア融合によってさらに向上します。提案された手法は4つの公開ベンチマークデータセット、大規模なNTU RGB+Dデータセット、MSRC-12 Kinectジェスチャーデータセット(MSRC-12)、G3DデータセットおよびUTDマルチモーダル人間行動データセット(UTD-MHAD)で評価され、最先端の結果を達成しました。