16 天前

深度快门解卷积网络

{ Marc Pollefeys, Viktor Larsson, Zhaopeng Cui, Peidong Liu}
深度快门解卷积网络
摘要

我们提出了一种用于校正果冻效应(rolling shutter effect)的新颖网络。该网络输入两帧连续的果冻效应图像,旨在估计最新一帧对应的全局快门(global shutter)图像。通过一个运动估计网络,我们首先估计从果冻效应图像到其对应全局快门图像之间的稠密位移场。随后,利用可微分的前向形变模块(differentiable forward warping block),将果冻效应图像的已学习特征表示根据该位移场映射至其全局快门表示。最后,通过图像解码器基于形变后的特征表示重建出全局快门图像。该网络可实现端到端训练,且仅需全局快门图像作为监督信号。由于目前尚无公开可用的数据集,我们还构建了两个大规模数据集:Carla-RS数据集与Fastec-RS数据集。实验结果表明,所提方法在性能上优于现有最先进方法。相关代码与数据集已开源,可访问 https://github.com/ethliup/DeepUnrollNet。

深度快门解卷积网络 | 最新论文 | HyperAI超神经