面向真实世界滚动快门效应校正的自适应畸变学习

本文提出了首个面向真实场景的滚动快门（Rolling Shutter, RS）校正数据集BS-RSC，以及一种相应的RS校正模型，用于修复失真视频中的滚动快门效应。在消费级市场中，采用CMOS图像传感器的移动设备在视频采集过程中若发生相对运动，常会产生滚动快门效应，亟需有效的RS效应消除技术。然而，现有最先进的RS校正方法在真实场景中往往表现不佳，主要原因在于实际运动形式多样且难以准确建模。为解决这一问题，本文构建了真实场景下的RS校正数据集BS-RSC。该数据集通过一种精心设计的分束器（beam-splitter）采集系统，同步获取包含真实失真视频及其对应真实标签（ground truth）的视频序列。BS-RSC涵盖了动态场景中相机与物体的多种复杂运动模式。在此基础上，本文进一步提出一种具备自适应变形（adaptive warping）能力的RS校正模型。该模型能够基于预测的多组位移场，自适应地将学习到的RS特征映射为全局快门（global shutter）对应的特征表示。随后，通过粗到精（coarse-to-fine）的策略对这些变形后的特征进行聚合与重建，最终生成高质量的全局快门视频帧。实验结果表明，所提方法在真实场景下具有显著的校正效果，且所构建的BS-RSC数据集能够有效提升模型在真实世界中消除滚动快门效应的能力。