8 天前
风格与雾度均至关重要:面向语义雾天场景理解的累积域适应
Xianzheng Ma, Zhixiang Wang, Yacheng Zhan, Yinqiang Zheng, Zheng Wang, Dengxin Dai, Chia-Wen Lin

摘要
尽管在晴朗天气条件下语义场景理解已取得显著进展,但在恶劣天气条件(如浓雾)下仍面临严峻挑战,其主要原因是不完整观测带来的不确定性。此外,雾天图像的采集与标注困难也严重制约了该领域的研究进展。鉴于晴朗天气下语义场景理解已取得成功,我们认为将从清晰图像中学习到的知识迁移到雾天场景是合理的。因此,问题的核心转化为如何弥合清晰图像与雾天图像之间的域差距。与以往主要聚焦于消除雾引起的域差距(如对雾天图像进行去雾处理,或对清晰图像添加雾化效果)的方法不同,本文提出同时考虑雾的影响与图像风格差异,以缓解域差距。这一思路的动机源于我们的发现:通过引入一个中间域,可以将与风格相关的差距和与雾相关的差距分别分离并独立弥合。基于此,我们提出一种新的渐进式适应框架,依次实现风格、雾效应以及双因素(风格与雾)的累积适应。具体而言,我们设计了一个统一的框架,能够分别解耦不同域图像中的风格因素与雾因素,并进一步解耦三者之间的联合影响。此外,我们引入一种新颖的累积损失函数,协同优化三个因素的解耦过程,从而实现更彻底的特征分离。实验结果表明,该方法在三个基准数据集上均达到了当前最优性能,并展现出在雨天和雪天场景下的良好泛化能力。