竞争性协作：深度、相机运动、光流和运动分割的联合无监督学习

我们致力于解决低层次视觉中的几个相互关联的问题：单视图深度预测、相机运动估计、光流计算以及将视频分割为静态场景和移动区域。我们的核心见解在于，这四个基本视觉问题通过几何约束相互耦合。因此，联合学习这些问题可以简化任务，因为各个解决方案可以互相增强。我们超越了以往的研究，更加显式地利用了几何特性，并将场景分割为静态和移动区域。为此，我们引入了一种名为竞争协作（Competitive Collaboration）的框架，该框架促进了多个专门神经网络的协调训练，以解决复杂问题。竞争协作的工作原理类似于期望最大化算法，但其特点是使用神经网络作为解释对应于静态或移动区域像素的竞争者，并通过一个调节器来分配像素属于静态还是独立移动的状态，从而实现协作。我们的创新方法在一个通用框架中整合了所有这些问题，并同时对场景中的移动物体和静态背景进行分割、相机运动、静态场景结构的深度以及移动物体的光流进行推理。我们的模型无需任何监督即可训练，并在所有子问题上实现了同类无监督联合方法中的最先进性能。