2 个月前

野生环境中的全卷积网络:像素级对抗性和约束性适应

Judy Hoffman; Dequan Wang; Fisher Yu; Trevor Darrell
野生环境中的全卷积网络:像素级对抗性和约束性适应
摘要

全卷积模型在密集预测任务中已被证明对广泛的视觉任务非常成功。这些模型在监督设置下表现良好,但在人类观察者认为轻微的域迁移情况下,性能可能会出乎意料地差。例如,在一个城市进行训练而在另一个地理位置不同和/或天气条件不同的城市进行测试时,由于像素级分布的变化,可能会导致性能显著下降。本文中,我们首次引入了一种用于语义分割的域适应方法,提出了一种无监督对抗性方法来解决像素预测问题。我们的方法包括全局适应和类别特定适应技术。通过一种新颖的全卷积域对抗学习语义分割网络实现全局域对齐。这种初步适应的空间随后通过约束弱学习的一般化方法实现类别特定适应,显式地将源域的空间布局转移到目标域。我们的方法在多个大规模数据集的不同设置下均优于基线方法,包括在各种真实城市环境之间、不同合成子域之间、从模拟环境到真实环境以及在一个新的大规模行车记录仪数据集上的适应。