在监控视频中进行异常检测目前仍是一个挑战，因为可能发生的事件具有多样性。我们提出了一种深度卷积神经网络（CNN），该网络通过学习常见物体外观（例如行人、背景、树木等）与其相关运动之间的对应关系来解决这一问题。我们的模型设计为一个重建网络和一个图像转换模型的组合，这两个子网络共享同一个编码器。前者子网络确定视频帧中最显著的结构，后者则尝试将运动模板与这些结构关联起来。训练阶段仅使用正常事件的视频进行，之后该模型能够对未知输入进行帧级评分估计。在6个基准数据集上的实验表明，所提出的方法在性能上与现有最先进方法相当。