HyperAIHyperAI

Command Palette

Search for a command to run...

轻量级光流CNN——重新审视数据保真度和正则化

Tak-Wai Hui Xiaoou Tang Chen Change Loy

摘要

在过去的四十年中,大多数研究通过变分方法解决了光流估计问题。随着机器学习的发展,一些近期的研究尝试使用卷积神经网络(CNN)来解决这一问题,并展示了有希望的结果。目前最先进的CNN模型FlowNet2需要超过1.6亿个参数才能实现精确的光流估计。我们的LiteFlowNet2在Sintel和KITTI基准测试中超越了FlowNet2,同时模型大小减少了25.3倍,运行速度提高了3.1倍。LiteFlowNet2基于传统方法奠定的基础构建,并类似于变分方法中的数据保真度和正则化角色。我们采用SPyNet的空间金字塔公式计算光流,但通过一种新颖的轻量级级联流推断方法实现。该方法通过早期校正和无缝集成描述符匹配提供了高精度的光流估计。特征驱动的局部卷积用于光流正则化,以改善离群点和模糊光流边界的问题。我们的网络还具有有效的金字塔特征提取结构,并采用了特征扭曲而非图像扭曲的方法,这与FlowNet2和SPyNet的做法不同。与LiteFlowNet相比,LiteFlowNet2在Sintel Clean上的光流准确性提高了23.3%,在Sintel Final上提高了12.8%,在KITTI 2012上提高了19.6%,在KITTI 2015上提高了18.8%,同时运行速度提高了2.2倍。我们的网络协议和训练模型已在https://github.com/twhui/LiteFlowNet2公开提供


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供