2 个月前

基于中间畸变流估计的滚动快门校正

Mingdeng Cao; Sidi Yang; Yujiu Yang; Yinqiang Zheng
基于中间畸变流估计的滚动快门校正
摘要

本文提出了一种通过直接从全局快门(GS)到滚动快门(RS)估计畸变流来校正RS畸变图像的方法。现有的方法通常使用从RS到GS的去畸变流来进行校正。这些方法首先预测连续RS帧之间的流,然后利用时间依赖的缩放因子将其重新缩放为从RS帧到基础GS图像的位移场。随后,采用RS感知前向变形技术将RS图像转换为其对应的GS图像。然而,这种策略存在两个主要缺点。首先,由于复杂的非线性运动特性,仅通过线性缩放流来估计去畸变流会导致不准确的结果。其次,RS感知前向变形经常会产生不可避免的伪影。为了克服这些局限性,我们引入了一个新的框架,该框架直接估计畸变流,并使用后向变形操作来校正RS图像。具体而言,我们首先提出了一种基于全局相关性的流注意力机制,用于联合估计初始畸变流和GS特征,然后通过后续的粗到精解码器层对其进行细化。此外,还集成了多畸变流预测策略以进一步缓解不准确的流估计问题。实验结果验证了所提方法的有效性,在各种基准测试中优于现有最先进方法的同时保持了高效率。该项目代码可在以下链接获取:https://github.com/ljzycmd/DFRSC。

基于中间畸变流估计的滚动快门校正 | 最新论文 | HyperAI超神经