近年来，基于RGB图像序列或深度序列的单模态动作识别已得到广泛研究。普遍认为，这两种模态在动作识别任务中各具优势与局限性。因此，对RGB+D视频的分析有助于我们更深入地探究两类模态之间的互补特性，并实现更高水平的识别性能。本文提出一种基于深度自编码器的共享-特异性特征分解网络，用于将输入的多模态信号分解为多层次的组成成分。进一步地，基于特征的结构特性，我们设计了一种结构化稀疏学习机，通过引入混合范数，在成分内部施加正则化，并在成分之间实现组选择，从而提升分类性能。实验结果表明，所提出的跨模态特征分析框架在五个具有挑战性的基准数据集上均取得了当前最优的动作分类准确率，验证了其有效性。