学习视频序列中的时间规律性

在长视频序列中识别有意义的活动是一个具有挑战性的问题，这主要是由于“意义”定义的模糊性以及场景中的杂乱因素所致。我们通过从多个数据源中学习生成模型来解决这一问题，该模型用于捕捉常规运动模式（regularity）。具体而言，我们提出了两种基于自动编码器的方法，这些方法能够在几乎没有监督的情况下工作。首先，我们利用传统的手工设计的空间-时间局部特征，并在此基础上训练一个全连接自动编码器。其次，我们构建了一个全卷积前馈自动编码器，以端到端的学习框架同时学习局部特征和分类器。我们的模型可以从多个数据集中捕获常规性。我们在定性和定量两个方面对所提出的方法进行了评估——展示了视频在不同方面的学到的常规性，并在异常检测数据集上展示了具有竞争力的性能作为应用示例。