2 个月前

HAIR:基于超网络的全方位图像恢复

Cao, Jin ; Cao, Yi ; Pang, Li ; Meng, Deyu ; Cao, Xiangyong
HAIR:基于超网络的全方位图像恢复
摘要

图像修复旨在从其退化版本中恢复高质量的清晰图像。近年来,图像修复领域的进展展示了全功能图像修复模型在同时处理多种未知退化方面的有效性。然而,现有的方法通常使用相同的参数来应对不同类型的退化,迫使模型在不同的任务之间平衡性能,从而限制了其在每个任务上的表现。为了解决这一问题,我们提出了一种基于超网络的全功能图像修复插件方法——HAIR(Hypernetworks-based All-in-One Image Restoration),该方法根据输入图像生成参数,从而使模型能够动态适应特定的退化类型。具体而言,HAIR由两个主要组件构成:分类器和超选择网络(HSN)。分类器是一个简单的图像分类网络,用于生成包含输入图像退化信息的全局信息向量(GIV)。HSN是一个简单的全连接神经网络,接收GIV并输出相应模块的参数。大量的实验表明,HAIR可以在插件模式下显著提升现有图像修复模型的性能,无论是在单任务还是全功能设置中。特别是,我们提出的Res-HAIR模型将HAIR集成到著名的Restormer中,其性能优于或可与当前最先进的方法相媲美。此外,我们从理论上证明了为了达到给定的小误差,所提出的HAIR所需的参数比主流的嵌入式全功能方法更少。代码可在以下地址获取:https://github.com/toummHus/HAIR。

HAIR:基于超网络的全方位图像恢复 | 最新论文 | HyperAI超神经