摘要
诸如着色、修复和拼图等自监督任务已被用于静态图像的视觉表示学习，特别是在标记图像数量有限或完全缺失的情况下。最近，这一有价值的研宄方向已扩展到视频领域，因为人工标注视频的成本更高。然而，现有的大多数方法仍然基于2D卷积神经网络（CNN）架构，这些架构无法直接捕捉视频应用所需的时空信息。在本文中，我们介绍了一种新的自监督任务，称为\textit{时空立方体拼图}（Space-Time Cubic Puzzles），利用大规模视频数据集训练3D卷积神经网络（CNN）。该任务要求网络对排列错乱的3D时空片段进行重新排序。通过完成\textit{时空立方体拼图}任务，网络不仅学会了视频帧的空间外观特征，还掌握了其时间关系，这正是我们的最终目标。实验结果表明，我们所学到的3D表示能够很好地迁移到动作识别任务上，并且在UCF101和HMDB51数据集上的表现优于当前最先进的2D CNN方法。