7 天前

基于视觉Transformer的互补特征增强网络用于图像去雾

Dong Zhao, Jia Li, Hongyu Li, Long Xu
基于视觉Transformer的互补特征增强网络用于图像去雾
摘要

基于传统卷积神经网络(CNN)的去雾模型存在两个关键问题:其一,去雾框架本身可解释性有限;其二,卷积层具有内容无关性,难以有效学习长距离依赖关系。本文首先提出一种新型的互补特征增强框架,该框架通过多个互补子任务学习互补特征,并将这些特征协同用于提升主任务的性能。该框架的一个显著优势在于,通过有目的性地选择互补任务,能够专注于学习弱相关性互补特征,从而避免网络在重复且低效的特征学习中浪费资源。基于此框架,我们设计了一种新的去雾网络。具体而言,我们选择内在图像分解作为互补任务,利用反射率预测与阴影预测两个子任务分别提取颜色维度和纹理维度的互补特征。为有效融合这些互补特征,我们提出一种互补特征选择模块(Complementary Features Selection Module, CFSM),用于筛选对去雾更具价值的特征。此外,本文引入一种新型视觉变换器模块——混合局部-全局视觉变换器(Hybrid Local-Global Vision Transformer, HyLoG-ViT),并将其嵌入到去雾网络中。HyLoG-ViT模块包含局部与全局视觉变换器路径,分别用于捕捉局部与全局依赖关系,从而在保持网络局部感知能力的同时,有效建模全局及长距离依赖信息。在均质、非均质以及夜间去雾任务上的大量实验结果表明,所提出的去雾网络在性能上可与现有基于CNN的去雾模型相媲美,甚至在部分场景下表现更优。

基于视觉Transformer的互补特征增强网络用于图像去雾 | 最新论文 | HyperAI超神经