CoDA:基于严重性感知视觉提示调优的指令式领域自适应链

无监督域自适应(Unsupervised Domain Adaptation, UDA)旨在将标注源域上的模型迁移至未标注的目标域。然而,在面对恶劣场景时,现有UDA方法由于缺乏有效指导,难以充分应对各类恶劣场景间的差异,导致模型忽略不同恶劣场景之间的细微差别,从而性能下降。为解决这一问题,本文提出CoDA(Chain-of-Domain Adaptation),通过在场景级和图像级两个层面引导模型识别、聚焦并学习这些差异,实现更精准的域自适应。具体而言,CoDA由两个核心组件构成:场景级的链式域(Chain-of-Domain, CoD)策略与面向严重程度感知的视觉提示调优(Severity-Aware Visual Prompt Tuning, SAVPT)机制。CoD策略首先在场景层面进行指导,将所有恶劣场景划分为“易处理”与“难处理”两类,引导模型先在易场景图像上从源域进行适应,再逐步迁移到难场景图像上,从而为整体域适应奠定坚实基础。在此基础上,SAVPT机制进一步深入至图像级细粒度指导,以提升模型性能。SAVPT引入了一种新颖的度量指标——“严重程度”(Severity),将所有恶劣场景图像划分为低严重程度与高严重程度两类。该严重程度信息被用于引导视觉提示(visual prompts)与适配器(adapters),促使模型聚焦于统一的严重程度特征,而非依赖于特定场景的表观特征,从而增强泛化能力,且无需增加模型架构的复杂度。在多个广泛使用的基准测试中,CoDA均取得了当前最优(SOTA)性能。特别地,在Foggy Driving与Foggy Zurich两个基准上,CoDA分别相比现有方法提升了4.6%和10.3%的mIoU指标。相关代码已开源,地址为:https://github.com/Cuzyoung/CoDA。