Command Palette
Search for a command to run...
基于空间金字塔网络的光流估计
基于空间金字塔网络的光流估计
Ranjan Anurag Black Michael J.
摘要
我们通过将经典的分层金字塔结构与深度学习相结合,实现光流的计算。该方法采用自粗到细的策略,在每一层金字塔上,利用当前的光流估计对图像对中的一幅图像进行形变(warping),并据此计算光流的更新。与以往在每一层金字塔上标准地最小化目标函数不同,我们为每一层训练一个深度网络来直接计算光流的更新。与近期提出的FlowNet方法不同,本方法中的网络无需处理大尺度运动——这些大运动由金字塔结构本身处理。这一设计带来了多个优势:首先,我们的空间金字塔网络(SPyNet)在模型参数量上比FlowNet小96%,结构也更为简洁,因而更加高效,更适合嵌入式应用场景;其次,由于在每一层金字塔上的光流变化较小(小于1像素),对形变后的图像对采用卷积方法是合适的;第三,与FlowNet不同,我们学习到的卷积核滤波器在形态上与经典的空间-时间滤波器相似,这为理解该方法及其改进方向提供了直观的启示。在多数标准基准测试中,我们的方法精度均优于FlowNet,表明将经典光流方法与深度学习相结合是一种具有前景的新方向。