RGB+Dビデオにおける動作認識のための深層マルチモーダル特徴分析

最近、RGBや深度シーケンスの単一モダリティによる動作認識が広く研究されています。一般的に、これらの2つのモダリティは動作認識タスクにおいて異なる強みと制限を持っていると考えられています。したがって、RGB+Dビデオの分析は、これらの2種類のモダリティの補完的な特性をより深く研究し、より高い性能を達成するのに役立ちます。本論文では、入力マルチモーダル信号を階層的なコンポーネントに分離する新しいディープオートエンコーダーに基づく共有-固有特徴分解ネットワークを提案します。さらに、特徴量の構造に基づいて、混合ノルムを利用した構造化スパーシティ学習機を提案します。これは、コンポーネント内の正則化とそれら間のグループ選択を行い、より良い分類性能を実現します。我々の実験結果は、5つの挑戦的なベンチマークデータセットにおける最先端の精度で動作分類を行うことで、我々のクロスモダリティ特徴量解析フレームワークの効果性を示しています。