18 天前

EBSR:基于可变形对齐的特征增强图像帧超分辨率

{Shuaicheng Liu, Jian Sun, Haoqiang Fan, Lanpeng Jia, Youwei Li, Xuan Mo, Lei Yu, Ziwei Luo}
EBSR:基于可变形对齐的特征增强图像帧超分辨率
摘要

我们提出一种新颖的架构,以解决多帧超分辨率(Multi-Frame Super-Resolution, MFSR)问题。所提出的框架称为增强型突发超分辨率(Enhanced Burst Super-Resolution, EBSR),该框架将MFSR问题分解为三个阶段:图像对齐、特征融合与图像重建。为实现多张低分辨率突发图像在特征层面的精准对齐,我们设计了特征增强金字塔级联与可变形卷积模块(Feature Enhanced Pyramid Cascading and Deformable convolution, FEPCD)。随后,通过交叉非局部融合模块(Cross Non-Local Fusion, CNLF)对对齐后的特征进行融合。最终,利用长程连接网络(Long Range Concatenation Network, LRCN)完成高分辨率图像的重建。此外,我们构建了级联残差路径结构(Cascading Residual Pathway, CR),以进一步提升模型性能。通过一系列实验,我们对各模块的有效性进行了分析与验证。在NTIRE2021突发超分辨率挑战赛中,我们的EBSR模型在真实数据赛道中荣获冠军,在合成数据赛道中获得亚军。