15 天前

SUNet:用于滚动快门校正的对称去畸变网络

Bin Fan, Yuchao Dai, Mingyi He
SUNet:用于滚动快门校正的对称去畸变网络
摘要

绝大多数现代消费级相机采用滚动快门(rolling shutter)机制,当相机在图像采集过程中发生运动时,会导致图像畸变。本文提出一种新颖的深度神经网络,仅利用两帧连续图像即可解决通用的滚动快门校正问题。我们的方法采用对称性设计,旨在预测这两帧图像中间时刻所对应的全局快门图像,该时刻的相机位姿与两帧图像的位姿差异最大,因此对现有方法而言极具挑战性。首先,基于成熟的图像处理原理——分层构建、图像扭曲(warping)与代价体(cost volume)处理,我们估计出两个时间对称的稠密去畸变光流。随后,将两幅滚动快门图像分别在特征空间中扭曲至一个共同的全局快门图像空间。最后,在图像解码器中构建对称一致性约束,有效融合两幅滚动快门图像的上下文信息,从而恢复出高质量的全局快门图像。通过在公开基准数据集上的大量合成数据与真实数据实验验证,结果表明,所提出的方法在性能上显著优于现有最先进方法。

SUNet:用于滚动快门校正的对称去畸变网络 | 最新论文 | HyperAI超神经