动作识别中时空卷积的深入研究

本文讨论了视频分析中的几种时空卷积形式，并研究了它们在动作识别中的影响。我们的动机源于观察到，应用于视频单帧的二维卷积神经网络（2D CNN）在动作识别中仍然是性能稳健的方法。在这项工作中，我们通过实验展示了在残差学习框架下，三维卷积神经网络（3D CNN）相比二维卷积神经网络（2D CNN）在准确性上的优势。此外，我们还证明了将三维卷积滤波器分解为独立的空间和时间组件可以显著提高准确性。基于我们的实证研究，设计了一种新的时空卷积块“R(2+1)D”，该卷积块构建的卷积神经网络在Sports-1M、Kinetics、UCF101和HMDB51数据集上取得了与现有最先进方法相当或更优的结果。