深度神经网络的成功训练需要收集和标注大量数据。为了缓解标注瓶颈，我们提出了一种新颖的自监督表示学习方法，用于从视频中提取时空特征。我们引入了Skip-Clip方法，该方法通过利用视频中的时间连贯性，以未来片段顺序排名作为代理目标，基于上下文片段训练深度模型来进行视频未来预测。实验结果表明，使用我们的方法学习到的特征具有泛化能力，并且在下游任务中表现出强大的迁移性能。在UCF101数据集上的动作识别任务中，我们的方法相比随机初始化提高了51.8%，并且优于使用膨胀ImageNet参数初始化的模型。此外，Skip-Clip在性能上也与当前最先进的自监督方法相当。