多源域自适应语义分割

针对语义分割的仿真到真实域适应（simulation-to-real domain adaptation）在自动驾驶等众多应用中受到广泛关注。现有方法主要集中在单源域适应场景，难以有效应对现实中多个来源、分布各异的更复杂情形。本文提出研究面向语义分割的多源域适应问题。具体而言，我们设计了一种新型端到端可训练框架，称为多源对抗域聚合网络（Multi-source Adversarial Domain Aggregation Network, MADAN）。首先，我们在保持动态语义一致性的前提下，为每个源域生成一个适应后的域，并在像素级上实现与目标域的循环一致性对齐。其次，我们引入子域聚合判别器（sub-domain aggregation discriminator）与跨域循环判别器（cross-domain cycle discriminator），以促使不同源域经适应后的表示更加紧密聚合。最后，在训练分割网络的过程中，进一步在特征层面实现聚合域与目标域之间的对齐。大量实验从合成数据集GTA和SYNTHIA到真实数据集Cityscapes和BDDS均表明，所提出的MADAN模型在性能上优于当前最先进的方法。项目源代码已公开，地址为：https://github.com/Luodian/MADAN。