近年、RGB画像系列または深度画像系列といった単一モダリティに基づく行動認識は広く研究されている。一般的に、これらの2つのモダリティは行動認識というタスクにおいて、それぞれ異なる強みと限界を持つとされている。したがって、RGB+D動画の分析により、これら2種類のモダリティの補完的性質をより深く理解し、より高い性能を達成することが可能となる。本論文では、入力となるマルチモーダル信号を階層的な構成要素に分離するための、新しい深層自己符号化器をベースとした共有・固有特徴因子分解ネットワークを提案する。さらに、特徴の構造に基づき、構造的スパース性学習機械を提案する。この手法は、構成要素内での正則化に混合ノルムを用い、構成要素間でのグループ選択を実現することで、より優れた分類性能を達成する。実験結果から、本研究で提案するクロスモダリティ特徴分析フレームワークが、5つの挑戦的なベンチマークデータセットにおいて、行動分類の最新鋭の精度を達成できることを示している。