8 天前

FogAdapt:用于雾天图像语义分割的自监督领域自适应

Javed Iqbal, Rehan Hafiz, Mohsen Ali
FogAdapt:用于雾天图像语义分割的自监督领域自适应
摘要

本文提出了一种名为FogAdapt的新方法,用于解决密集雾霾场景下语义分割的领域自适应问题。尽管已有大量研究致力于缓解语义分割中的领域偏移问题,但针对恶劣天气条件(如雾、霾、烟雾等)场景的适应仍是一个尚未解决的开放性难题。由于天气条件导致场景可见度存在显著差异,进一步加剧了领域偏移,使得此类场景下的无监督领域自适应面临巨大挑战。为此,本文提出一种基于自熵与多尺度信息增强的自监督领域自适应方法(FogAdapt),以有效减小雾霾场景下语义分割的领域差异。基于实证发现:雾密度越高,分割概率的自熵值越大,本文引入了一种基于自熵的损失函数,用以指导模型的自适应过程。此外,通过融合不同图像尺度下的推理结果,并依据其不确定性进行加权,生成对尺度和可见度变化具有鲁棒性的尺度不变伪标签(scale-invariant pseudo-labels),用于目标域的监督信号构建。该策略显著提升了模型在复杂雾霾环境下的泛化能力。我们在多个典型场景下对所提方法进行了评估,包括从真实晴朗天气图像到真实雾霾图像的域适应,以及从合成非雾图像到真实雾霾图像的跨域适应。实验结果表明,FogAdapt在雾霾图像语义分割任务中显著优于当前最先进的方法。具体而言,在从Cityscapes数据集迁移到Foggy Zurich数据集的基准设置下,FogAdapt在mIoU指标上分别提升了3.8%(Foggy Zurich)、6.0%(Foggy Driving-dense)和3.6%(Foggy Driving),充分验证了其在复杂雾霾场景下的优越性能与实用性。

FogAdapt:用于雾天图像语义分割的自监督领域自适应 | 最新论文 | HyperAI超神经