摘要
我们通过结合经典的空间金字塔（spatial-pyramid）公式与深度学习来计算光流。这种方法在粗到细的过程中估计大范围运动，通过在每个金字塔层级上根据当前的光流估计对图像对中的一个图像进行变形，并计算光流的更新。与每个金字塔层级上的标准目标函数最小化方法不同，我们在每个层级上训练一个深度网络来计算光流更新。与最近的FlowNet方法相比，我们的网络不需要处理大范围运动；这些运动由金字塔结构来处理。这带来了几个优势。首先，我们的空间金字塔网络（SPyNet）在模型参数方面比FlowNet简单得多且体积减少了96%。这使得它更加高效，适用于嵌入式应用。其次，由于每个金字塔层级上的光流变化较小（<1像素），将卷积方法应用于变形后的图像对是合适的。第三，与FlowNet不同的是，所学到的卷积滤波器看起来类似于经典的时空滤波器，这为理解该方法以及如何改进提供了洞察力。我们的结果在大多数标准基准测试中比FlowNet更准确，表明将经典光流方法与深度学习相结合是一个新的研究方向。