基于卷积神经网络的大规模孤立手势识别

本文提出了三种简单、紧凑且有效的深度序列表示方法，分别称为动态深度图像（Dynamic Depth Images, DDI）、动态深度法线图像（Dynamic Depth Normal Images, DDNI）和动态深度运动法线图像（Dynamic Depth Motion Normal Images, DDMNI）。这些动态图像通过双向秩池化从一系列深度图中构建而成，能够有效地捕捉空间-时间信息。基于图像的表示方法使我们能够在不引入大量参数学习的情况下，对现有的基于图像数据训练的卷积神经网络（ConvNets）模型进行微调，以实现深度序列的分类。在所提出的表示方法基础上，开发了一种基于卷积神经网络的方法用于手势识别，并在2016年ChaLearn Looking at People（LAP）挑战赛的大规模孤立手势识别任务中进行了评估。该方法达到了55.57%的分类准确率，在此次挑战赛中排名第二，尽管仅使用了深度数据，其性能仍非常接近最佳表现。