大規模な孤立したジェスチャ認識を用いた畳み込みニューラルネットワーク

本論文では、深さシーケンスの単純かつコンパクトで効果的な3つの表現を提案します。これらはそれぞれ動的深さ画像（Dynamic Depth Images: DDI）、動的深さ法線画像（Dynamic Depth Normal Images: DDNI）、および動的深さ運動法線画像（Dynamic Depth Motion Normal Images: DDMNI）と呼ばれています。これらの動的画像は、双方向ランクプーリングを使用して深さマップのシーケンスから構築され、空間時間情報を効果的に捉えることができます。このような画像ベースの表現により、既存の画像データで学習されたConvNetsモデルを微調整して深さシーケンスの分類に利用することが可能になります。これにより、大量の学習パラメータを導入することなく、分類を行うことができます。提案された表現に基づいて、ジェスチャ認識のためにConvNetsを用いた手法を開発し、ChaLearn Looking at People (LAP) チャレンジ2016の大規模孤立ジェスチャ認識タスクで評価しました。この手法は55.57％の分類精度を達成し、このチャレンジで2位となりましたが、深度データのみを使用したにもかかわらず最良の性能に非常に近い結果を得ました。