2 个月前

GPS-GLASS:利用白天视频和GPS数据学习夜间语义分割

Lee, Hongjae ; Han, Changwoo ; Yoo, Jun-Sang ; Jung, Seung-Won
GPS-GLASS:利用白天视频和GPS数据学习夜间语义分割
摘要

自动驾驶中的语义分割需要在各种野外环境中具备鲁棒性。夜间语义分割尤为具有挑战性,主要是因为缺乏标注的夜间图像以及与白天图像(后者有充足的标注)之间存在较大的领域差距。本文提出了一种基于GPS的夜间语义分割训练框架。通过GPS对齐的日间和夜间图像对,我们执行跨域对应匹配以获得像素级的伪监督。此外,我们在日间视频帧之间进行光流估计,并应用基于GPS的比例缩放来获取另一种像素级的伪监督。利用这些带有置信度图的伪监督,我们能够在没有任何夜间图像标注的情况下训练夜间语义分割网络。实验结果表明,所提出的方法在多个夜间语义分割数据集上具有有效性。我们的源代码可在 https://github.com/jimmy9704/GPS-GLASS 获取。