2 个月前

深度爆发超分辨率

Bhat, Goutam ; Danelljan, Martin ; Van Gool, Luc ; Timofte, Radu
深度爆发超分辨率
摘要

近年来,单图像超分辨率(SISR)引起了广泛的关注,但所提出的方法主要局限于学习图像先验以添加高频细节。相比之下,多帧超分辨率(MFSR)通过结合多个位移图像的信号信息,提供了重建丰富细节的可能性。这一关键优势,加上连拍摄影的日益流行,使得MFSR成为现实应用中的一个重要问题。我们为连拍超分辨率任务提出了一种新颖的架构。该网络以多个有噪声的RAW图像作为输入,并生成去噪且超分辨率的RGB图像作为输出。这是通过显式对齐输入帧的深层嵌入来实现的,使用像素级光流进行对齐。然后,所有帧的信息通过基于注意力的融合模块自适应地合并。为了能够在真实数据上进行训练和评估,我们还引入了BurstSR数据集,该数据集包含智能手机连拍图像和高分辨率DSLR参考图像。我们进行了全面的实验分析,证明了所提出的架构的有效性。