SkeleMotion: 運動情報に基づく骨格関節シーケンスの新しい表現手法による3次元動作認識

大規模な骨格データセットの利用可能性により、3次元人間行動認識は最近、コンピュータビジョンコミュニティの注目を集めています。多くの研究では、骨格関節の空間構造に基づいて骨格データを骨格画像表現として符号化することに焦点を当てており、シーケンスの時間的動態は列の変動として、各フレームの空間構造は行列の行として表現されています。このような表現をさらに改善するために、Convolutional Neural Networks（CNN）の入力として使用される新しい骨格画像表現であるSkeleMotionを提案します。提案手法では、時間的動態を明示的に計算することで、骨格関節の大きさと向きの値を符号化します。異なる時間スケールを使用して運動値を計算し、より多くの時間的動態を集約することで、行動に関与する長距離関節相互作用を捉えるだけでなく、ノイジーな運動値もフィルタリングすることが可能になります。実験結果は、提案された表現が3次元行動認識において優れた効果を示し、NTU RGB+D 120データセットでの最先端技術を超えることを証明しています。