2 个月前
突发图像恢复与增强
Dudhane, Akshay ; Zamir, Syed Waqas ; Khan, Salman ; Khan, Fahad Shahbaz ; Yang, Ming-Hsuan

摘要
现代手持设备可以快速连续获取突发图像序列。然而,单独获取的帧受到多种退化的影响,并且由于相机抖动和物体运动而错位。突发图像恢复的目标是有效地结合多个突发帧之间的互补线索,生成高质量的输出。为了实现这一目标,我们开发了一种新方法,专注于突发帧之间有效信息的交换,从而在保留和增强实际场景细节的同时滤除退化。我们的核心思想是创建一组伪突发特征(pseudo-burst features),这些特征结合了所有输入突发帧中的互补信息,以无缝交换信息。然而,除非各个突发帧被正确对齐以消除帧间运动,否则无法成功创建伪突发特征。因此,我们的方法首先从每个突发帧中提取预处理特征,并使用边缘增强的突发对齐模块进行匹配。然后利用多尺度上下文信息创建并丰富伪突发特征。最后一步是自适应地聚合伪突发特征中的信息,在多个阶段逐步提高分辨率的同时合并伪突发特征。与现有方法通常采用后期融合方案和单阶段上采样相比,我们的方法表现优异,在突发超分辨率、低光照图像增强和去噪任务中达到了最先进的性能。源代码和预训练模型可在 \url{https://github.com/akshaydudhane16/BIPNet} 获取。