HyperAIHyperAI

Command Palette

Search for a command to run...

SnowFormer:具有尺度感知的上下文交互Transformer用于单幅图像除雪

Sixiang Chen; Tian Ye; Yun Liu; Erkang Chen

摘要

由于各种复杂多样的雪降解问题,单幅图像除雪是一项具有挑战性的图像恢复任务。现有的方法无法理想地解决这一问题,因此我们提出了一种新型的 Transformer 模型——SnowFormer,该模型通过探索高效的交叉注意力机制来构建跨补丁的局部-全局上下文交互,超越了现有使用局部算子或普通 Transformer 的方法。与之前的除雪方法和通用图像恢复方法相比,SnowFormer具有多项优势。首先,与近期图像恢复视觉 Transformer 中使用的多头自注意力机制不同,SnowFormer引入了多头交叉注意力机制,以实现尺度感知的雪查询与局部补丁嵌入之间的局部-全局上下文交互。其次,SnowFormer中的雪查询由查询生成器从聚合的尺度感知特征中生成,这些特征富含潜在的干净线索,从而导致更优的恢复效果。最后,SnowFormer在六个合成和真实世界的数据集上超越了先进的最新除雪网络和流行的通用图像恢复 Transformer 。代码已发布在 \url{https://github.com/Ephemeral182/SnowFormer}


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供