HyperAIHyperAI

Command Palette

Search for a command to run...

BSRT:利用Swin Transformer和流导向可变形对齐提升突发超分辨率

Ziwei Luo Youwei Li Shen Cheng Lei Yu Qi Wu Zhihong Wen Haoqiang Fan Jian Sun Shuaicheng Liu

摘要

这项研究针对突发超分辨率(Burst Super-Resolution, BurstSR)任务提出了一种新的架构,该任务需要从一系列噪声、错位和低分辨率的RAW图像序列中恢复高质量图像。为了克服BurstSR中的挑战,我们提出了一种突发超分辨率变换器(Burst Super-Resolution Transformer, BSRT),该变换器可以显著提高提取帧间信息和重建的能力。为实现这一目标,我们设计了金字塔流导向可变形卷积网络(Pyramid Flow-Guided Deformable Convolution Network, Pyramid FG-DCN),并将其与Swin变换器块和组作为主干网络结合使用。具体而言,我们将光流和可变形卷积相结合,因此我们的BSRT能够更高效地处理错位问题并聚合多帧中的潜在纹理信息。此外,基于变换器的结构能够捕捉长距离依赖关系,从而进一步提升性能。在合成数据集和真实世界数据集上的评估表明,我们的方法在BurstSR任务中达到了新的最先进水平。此外,我们的BSRT在NTIRE2022突发超分辨率挑战赛中荣获冠军。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BSRT:利用Swin Transformer和流导向可变形对齐提升突发超分辨率 | 论文 | HyperAI超神经