2 个月前

面向非线性运动感知和遮挡鲁棒的滚动快门校正

Delin Qu; Yizhen Lao; Zhigang Wang; Dong Wang; Bin Zhao; Xuelong Li
面向非线性运动感知和遮挡鲁棒的滚动快门校正
摘要

本文针对复杂非线性和动态场景中存在极端遮挡的卷帘快门校正问题进行了研究。现有方法主要存在两个缺点。首先,由于假设像素运动速度均匀,这些方法在估计精确校正场时面临挑战,导致在复杂运动情况下图像校正误差显著。其次,动态场景中的剧烈遮挡使得当前解决方案难以实现更好的图像质量,因为多帧对齐和聚合本身存在固有的困难。为了解决这些问题,我们对像素的曲线轨迹进行了分析建模,并提出了一种基于几何的二次卷帘快门(QRS)运动求解器,该求解器能够精确估计每个像素的高阶校正场。此外,为了在动态场景中重建高质量的遮挡帧,我们设计了一种有效的多帧上下文对齐和聚合的3D视频架构,即RSA2-Net。我们在多种相机和视频序列上评估了我们的方法,展示了其显著的优势。具体而言,我们的方法在Carla-RS、Fastec-RS和BS-RSC数据集上的PSNR分别超过了现有最先进方法4.98、0.77和4.33分。代码可在https://github.com/DelinQu/qrsc 获取。

面向非线性运动感知和遮挡鲁棒的滚动快门校正 | 最新论文 | HyperAI超神经