用于领域泛化语义分割的协作基础模型

领域泛化语义分割（Domain Generalized Semantic Segmentation, DGSS）旨在通过在有标注的源域上训练模型，使其在推理阶段能够泛化至未见过的目标域。现有的DGSS方法通常借助领域随机化（Domain Randomization, DR）来提取鲁棒特征，但此类方法存在明显局限：仅能应对风格层面的多样性，难以涵盖内容上的变化。针对这一问题，本文提出一种正交的DGSS范式，构建了基于协同基础模型的领域泛化语义分割框架——CLOUDS（CoLlaborative FOUndation models for Domain Generalized Semantic Segmentation）。CLOUDS框架融合了多种类型的基础模型：（i）采用CLIP主干网络以获取具有强泛化能力的特征表示；（ii）引入生成模型以丰富内容多样性，从而覆盖潜在目标分布的多种模式；（iii）集成Segment Anything Model（SAM）实现对分割结果的迭代优化与精细化。大量实验表明，CLOUDS在从合成数据到真实场景的DGSS基准测试中均表现出优异的适应能力，尤其在不同天气条件下，其平均mIoU分别相较先前方法提升5.6%和6.7%。代码已开源，地址为：https://github.com/yasserben/CLOUDS