7 天前

结构表示网络与不确定性反馈学习用于密集非均匀雾霾去除

Yeying Jin, Wending Yan, Wenhan Yang, Robby T. Tan
结构表示网络与不确定性反馈学习用于密集非均匀雾霾去除
摘要

现有大多数图像去雾或去烟方法未充分考虑密集且非均匀分布的颗粒物情况,而这类现象在烟雾、粉尘和浓雾中普遍存在。处理此类密集且非均匀分布的雾气往往极具挑战性,因为雾的衰减效应以及大气光(或称遮蔽效应)会显著削弱输入图像中背景场景的信息。为解决这一问题,本文提出一种基于结构表征的网络,并引入不确定性反馈学习机制。具体而言,我们利用预训练的视觉变换器(DINO-ViT)模块提取特征表示,以恢复被雾气遮蔽的背景信息。为进一步引导网络聚焦于非均匀雾气区域并实现针对性去雾,我们引入不确定性反馈学习机制,生成不确定性图。该不确定性图在雾气更密集的区域表现出更高的不确定性,可视为一种反映雾密度及其分布不均程度的注意力图。基于该不确定性图,我们的反馈网络能够迭代地优化去雾输出结果。此外,针对大气光颜色估计的困难问题,我们采用输入图像的灰度版本进行处理,因为灰度图像受输入图像中可能存在的复杂光照颜色变化影响较小,从而提升估计稳定性。实验结果表明,与当前最先进的方法相比,本文所提方法在定量与定性两个方面均展现出更优的性能,尤其在处理密集且非均匀分布的雾气或烟雾场景时表现出显著优势。

结构表示网络与不确定性反馈学习用于密集非均匀雾霾去除 | 最新论文 | HyperAI超神经