近期基于深度的人体活动分析方法取得了卓越的性能，并证明了三维表示在动作类别分类中的有效性。目前可用的基于深度和RGB+D的动作识别基准存在若干限制，包括训练样本不足、类别标签不明确、摄像机视角单一以及主体多样性不足。本文介绍了一个大规模的RGB+D人体动作识别数据集，包含超过56,000个视频样本和400万帧图像，采集自40个不同的主体。我们的数据集涵盖了60种不同的动作类别，包括日常活动、互动活动和健康相关活动。此外，我们提出了一种新的递归神经网络结构，用于建模每个身体部位特征的长期时间相关性，并利用这些特征进行更准确的动作分类。实验结果表明，在我们提出的跨主体和跨视角评估标准下，应用深度学习方法比最先进的手工设计特征具有明显优势。该大规模数据集的引入将使研究社区能够应用、开发和适应各种数据驱动的学习技术，以进行基于深度和RGB+D的人体活动分析任务。