摘要
在视频分析中，背景模型有着广泛的应用，如背景/前景分离、变化检测、异常检测、跟踪等。然而，虽然对于固定摄像头拍摄的视频来说，学习这种模型已经是一个相对成熟的任务，但在移动摄像头背景模型（Moving-camera Background Model, MCBM）的情况下，由于算法和可扩展性挑战的出现，其成功程度要低得多。因此，现有的MCBM在应用范围和支持的摄像机运动类型上都受到限制。这些障碍也阻碍了基于深度学习（Deep Learning, DL）的端到端解决方案在这一无监督任务中的应用。此外，现有的MCBM通常要么在通常较大的全景图像域中建模背景，要么以在线方式建模。不幸的是，前者带来了包括可扩展性差在内的多个问题，而后者则无法识别和利用摄像机重新访问场景中已见过部分的情况。本文提出了一种新的方法——DeepMCBM，该方法消除了所有上述问题并取得了最先进的结果。具体而言，首先我们识别了视频帧联合对齐的一般性和特定于深度学习设置中的困难。接下来，我们提出了一种新的联合对齐策略，使我们能够在不使用正则化或任何形式的专用（且不可微分）初始化的情况下使用空间变换网络。结合一个基于未变形的鲁棒中心矩（从联合对齐中获得）的自编码器，这产生了一个支持广泛摄像机运动类型且具有良好可扩展性的端到端无正则化MCBM。我们在各种视频上展示了DeepMCBM的有效性，包括其他方法无法处理的视频。我们的代码可在https://github.com/BGU-CS-VIL/DeepMCBM 获取。