基于合成数据和真实数据的课程模型适应性研究用于语义雾霾场景理解

本研究旨在解决雾天条件下的语义场景理解问题。尽管在语义场景理解方面已经取得了显著进展，但这些进展主要集中在晴朗天气的场景中。将语义分割方法扩展到诸如雾天等恶劣天气条件下对于户外应用至关重要。本文提出了一种名为课程模型适应（Curriculum Model Adaptation, CMAda）的新方法，该方法通过多个步骤逐步将语义分割模型从轻度合成雾适应到重度真实雾，同时利用了带有标签的合成雾数据和无标签的真实雾数据。该方法基于这样一个事实：在适度恶劣条件（如轻度雾）下进行语义分割的结果可以被用来引导解决高度恶劣条件（如重度雾）下的相同问题。CMAda 可以扩展到其他恶劣条件，并为利用合成数据和无标签真实数据的学习提供了一种新的范式。此外，我们还提出了三个独立的主要贡献：1) 一种基于语义输入向真实晴朗天气场景添加合成雾的新方法；2) 一个新的雾密度估计器；3) 一种无需使用深度信息即可增加真实雾景中雾浓度的新方法；4) 包含 3808 张真实雾景图像的 Foggy Zurich 数据集，其中 40 张重度雾条件下图像具有像素级语义注释。我们的实验表明：1) 我们的雾模拟和雾密度估计器在语义模糊场景理解（Semantic Foggy Scene Understanding, SFSU）任务上优于现有的最先进方法；2) CMAda 显著提高了最先进模型在 SFSU 任务上的性能，这得益于我们提供的合成和真实雾数据。相关数据集和代码可在项目网站获取。