HyperAIHyperAI

Command Palette

Search for a command to run...

1 年前

基于神经增强的双尺度单图像去雾

Z. G. Li C. B. Zheng H. Y. Shu S. Q. Wu

使用 MATLAB 进行图像去雾处理

20 小时 RTX 5090 算力资源,仅 $1 (原价 $7)
跳转至 Notebook

摘要

基于模型的单图像去雾算法能够恢复真实世界有雾图像中边缘清晰、细节丰富的无雾图像,但其合成有雾图像的PSNR和SSIM值较低。数据驱动的方法虽然在合成有雾图像上能实现较高的PSNR和SSIM值,但在真实世界有雾图像上对比度较低,甚至残留部分雾霾。本文提出了一种结合模型驱动与数据驱动方法的新型单图像去雾算法。首先通过模型驱动方法估计透射率和大气光,然后基于双尺度生成对抗网络(GAN)进行优化。该算法形成了一种神经增强机制,收敛速度极快,而相应的纯数据驱动方法可能无法收敛。最终利用估计的透射率、大气光以及科施梅德尔定律(Koschmieder's law)恢复无雾图像。实验结果表明,所提算法能够有效去除真实世界和合成有雾图像中的雾霾。

一句话总结

作者提出了 Dual-Scale Single Image Dehazing Via Neural Augmentation 方法,该方法将透射率图与大气光值的基于模型估计与快速收敛的双尺度生成对抗网络相结合,以优化这些参数,最终借助科施梅德定律在合成数据集与实际数据集上有效恢复无雾图像。

核心贡献

  • 引入了一种用于单图像去雾的神经增强框架,该框架采用基于模型的方法估计透射率图与大气光值,并通过双尺度生成对抗网络对这两个分量进行优化。
  • 与纯数据驱动的方法相比,该架构将训练数据集需求降低至500张图像,并加快了收敛速度。同时,一项新颖的理论分析表明,初始基于模型估计的高精度对于框架的稳定性至关重要。
  • 在合成与实际有雾图像上的实验评估表明,该算法在有效去除雾气的同时保留了清晰的边缘与丰富的细节,缓解了标准数据驱动方法中常见的低对比度与残留伪影问题。

引言

单图像去雾是计算机视觉流水线中的关键预处理步骤,因为大气雾霾会严重降低对比度、色彩保真度和动态范围,最终损害目标检测等下游任务。传统的基于模型的方法能有效处理真实世界的雾霾,但在合成数据上保真度指标较低,且会引入形态学伪影;而纯数据驱动的深度学习算法在合成基准上表现优异,却因领域差异和对大量配对数据的依赖,难以泛化到真实场景。为弥合这一差距,作者利用神经增强框架,首先使用成熟的物理先验初始化透射率图与大气光值,随后通过双尺度生成对抗网络对其进行优化。这种混合策略显著降低了训练数据需求,加速了收敛过程,保留了图像的高频细节,并在合成与实际场景中提供一致的去雾性能。

方法

所提方法在神经增强框架中将基于模型的估计与数据驱动的优化相结合,以实现有效的单图像去雾。如图架构所示,整体架构以有雾输入图像为起点,通过两条并行分支进行处理。第一个分支采用分层搜索方法估计大气光值 AAA,第二个分支则通过暗通道先验计算初始透射率图 t0t_0t0。随后,这些初始估计值通过双尺度生成对抗网络(GAN)进行优化,该网络结合空间注意力与通道注意力机制以增强特征表示并抑制噪声。

GAN 中的生成器基于递归残差组(RRG)模块构建,该模块由多个双注意力块(DAB)组成。每个 DAB 均包含空间与通道注意力机制,以有选择地强调信息丰富的特征并抑制相关性较低的特征,从而提升模型处理不均匀雾霾分布的能力。RRG 被组织为多个组,并在 RRG 与组级别均采用了跳跃连接,通过将浅层特征传播至深层来保留高频信息,缓解深度网络倾向于偏向低频函数的趋势。判别器采用 PatchGAN 实现,在两个尺度上运行,以评估去雾输出的真实性及其粗尺度近似效果。

数据驱动的优化过程基于拉普拉斯金字塔派生的双尺度表示进行。透射率图被分解为高斯金字塔层级,并利用双尺度去雾算法重建无雾图像,该算法确保避免天空区域的噪声放大并保留高频细节。GAN 的损失函数由多个组件组合而成以指导优化过程:极值通道损失通过匹配重建图像与真实图像在极值通道上的特征来确保雾气去除;梯度损失通过对齐重建图像与清晰图像的梯度来保留形态细节与锐度;双尺度重建损失强制重建图像与其粗尺度近似之间的一致性;应用于双尺度的对抗损失则确保重建图像的纹理与反射在感知上与真实图像相似。整体训练目标最小化这些损失的总和,使模型能够生成对比度增强、细节丰富的高质量去雾图像。

实验

在合成与实际数据集上,将所提混合去雾框架与八种最先进算法进行对比评估,以展示物理先验与数据驱动学习如何相互补充。定性比较表明,纯数据驱动方法通常产生模糊输出,传统基于模型的方法会引入色彩失真与噪声,而所提方法成功生成了更清晰、具有照片级真实感的结果,并在不同雾霾密度下保持更优的色彩保真度。消融实验进一步验证,使用基于模型的大气估计初始化网络可确保收敛稳定性,同时结合双尺度架构优化透射率与光值参数能有效减轻视觉伪影。最终,实验证实将基于模型的约束与深度学习协同融合,能够构建一个稳健的框架,克服现有单一范式方法的局限性。

作者使用合成与实际有雾图像,将所提去雾算法与多种最先进方法进行比较,通过定量指标与视觉分析评估性能。结果表明,所提方法在图像质量与真实感方面达到优异或具有竞争力的水平,尤其在真实场景中表现突出,同时保持稳定性并避免常见伪影。在真实图像质量指标上,所提算法优于大多数对比方法,在 DHQI 与 FADE 评估中均位居前列。与纯数据驱动方法相比,所提方法得益于与基于模型组件的融合,展现出更高的稳定性与收敛速度。消融实验证实,双尺度处理与大气光值优化等关键设计选择有助于提升性能并降低色彩失真。

作者利用合成与实际有雾图像,将所提去雾算法与多种最先进方法进行了对比。结果表明,该方法的定量指标具有竞争力,且视觉质量更优,尤其在处理重度雾霾与避免色彩失真方面表现突出。消融研究进一步证明了引入基于模型组件与特定训练策略的有效性。在定量与定性评估中,所提算法均优于多种基于模型与数据驱动的方法。基于模型组件的融合提升了神经增强框架的稳定性与收敛速度。通过同时优化大气光值与透射率图,所提方法取得了更好的视觉效果,有效降低了伪影并提升了色彩保真度。

作者开展了消融实验,以评估所提去雾神经增强框架中不同组件的影响。结果表明,结合基于模型与数据驱动的方法、采用双尺度处理、优化大气光值以及使用所提训练策略,可在多项指标上提升性能。与单一数据驱动方法相比,该框架展现出更快的收敛速度与更高的稳定性。与不使用基于模型组件的数据驱动方法相比,所提框架收敛更快且更稳定。双尺度处理与大气光值优化提升了去雾算法的性能。与仅使用对抗损失相比,所提训练策略降低了色彩失真。

作者利用合成与实际有雾图像,将所提去雾算法与最先进方法进行对比,通过全面的视觉分析与标准质量指标评估性能。对比实验表明,该混合方法始终提供卓越的视觉保真度,在处理重度雾霾的同时,有效最小化实际场景中的常见伪影与色彩失真。消融研究进一步验证了关键架构设计的独立贡献,证实双尺度处理、大气光值优化以及基于模型组件的融合显著提升了收敛稳定性与整体图像真实感。综上所述,这些发现确立了该框架作为面向实际去雾应用的稳健且视觉效果突出的解决方案。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供