HyperAIHyperAI

Command Palette

Search for a command to run...

TransWeather:基于Transformer的恶劣天气条件下退化图像恢复

Jeya Maria Jose Valanarasu Rajjeev Yasarla Vishal M. Patel

摘要

从图像中去除诸如雨、雾和雪等不利天气条件是一个在许多应用中都十分重要的问题。文献中提出的大多数方法都是针对单一类型的退化进行设计的。最近,提出了一种基于卷积神经网络(CNN)的方法,利用神经架构搜索(All-in-One),可以一次性去除所有天气条件。然而,该方法由于使用了多个编码器来应对每种天气去除任务,参数量较大,且其性能仍有提升空间。在这项工作中,我们致力于开发一种高效的解决方案来解决所有不利天气条件的去除问题。为此,我们提出了TransWeather,这是一种基于 Transformer 的端到端模型,仅使用一个编码器和一个解码器即可恢复受任何天气条件影响的图像。具体而言,我们利用了一种新颖的 Transformer 编码器,通过使用片内 Transformer 块(intra-patch transformer blocks)增强了片内的注意力机制,从而有效去除较小的天气退化。我们还引入了一个带有可学习天气类型嵌入的 Transformer 解码器,以适应当前的具体天气退化情况。TransWeather在多个测试数据集上均优于All-in-One网络以及针对特定任务微调的方法。此外,TransWeather还在真实世界的测试图像上进行了验证,并被证明比先前的方法更为有效。实现代码可在https://github.com/jeya-maria-jose/TransWeather 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供