摘要
本文研究了从合成数据到真实场景的域泛化语义分割任务，旨在仅利用合成数据训练出能够鲁棒地适应未见真实场景的模型。合成数据与真实数据之间存在的巨大域偏移，包括源环境变化的局限性以及合成与真实数据间显著的分布差异，严重制约了模型在未见真实场景下的性能表现。为此，本文提出了一种风格幻觉双一致性学习框架（Style-HAllucinated Dual Consistency learning, SHADE），以有效应对这一域偏移问题。具体而言，SHADE基于两种一致性约束构建：风格一致性（Style Consistency, SC）与回溯一致性（Retrospection Consistency, RC）。SC通过丰富源域情境，促使模型在风格多样的样本间学习到一致的特征表示；RC则引入真实世界知识，防止模型过度拟合于合成数据，从而显著保持合成域与真实域模型表示的一致性。此外，本文提出一种新颖的风格幻觉模块（Style Hallucination Module, SHM），用于生成对一致性学习至关重要的风格多样化样本。SHM从源分布中选取基础风格，并在训练过程中动态生成多样且逼真的样本。实验结果表明，所提出的SHADE框架在单源与多源设置下，分别在三个真实世界数据集的平均mIoU上相较于当前最优方法提升了5.05%和8.35%，展现出显著的性能优势。