骨格データからの動的ハンドジェスチャー認識を 위한モーション特徴拡張ネットワーク

動的ハンドジェスチャー認識は、人間とコンピュータの相互作用において重要な役割を果たすため、近年注目を集めている。本論文では、骨格データから動的ハンドジェスチャーを認識するための新しい運動特徴拡張ネットワーク（MFA-Net）を提案する。MFA-Netは、指の運動特徴と全体的な運動特徴を活用し、深層ネットワークの特徴を拡張することで、ジェスチャー認識の性能を向上させる。指の関節運動を正確に表現するために、変分自己符号化器（Variational Autoencoder, VAE）を用いて手の骨格シーケンスから指の運動特徴を抽出する。一方、手の骨格の全体的な運動を表現するためのグローバル運動特徴も導入する。これらの運動特徴と骨格シーケンスを、再帰型ニューラルネットワーク（Recurrent Neural Network, RNN）の3つのブランチに同時に入力することで、RNNの運動特徴を強化し、分類性能を向上させる。提案手法のMFA-Netは、DHG-14/28データセットおよびSHREC’17データセットという2つの挑戦的な骨格ベースの動的ハンドジェスチャーデータセット上で評価された。実験結果から、本手法はDHG-14/28データセットにおいて最先端手法と同等の性能を達成し、SHREC’17データセットではより優れた性能を示した。