GPS-GLASS: 주간 비디오와 GPS 데이터를 활용한 야간 의미 분할 학습

자율주행을 위한 의미 분할은 다양한 실외 환경에 견고해야 합니다. 특히 야간 의미 분할은 주석이 달린 야간 이미지의 부족과 충분한 주석이 있는 주간 이미지와의 큰 도메인 간극으로 인해 매우 어려운 문제입니다. 본 논문에서는 새로운 GPS 기반의 야간 의미 분할 훈련 프레임워크를 제안합니다. GPS로 정렬된 주간 및 야간 이미지 쌍을 주어졌을 때, 우리는 크로스 도메인 대응 매칭을 수행하여 픽셀 단위의 의사 감독을 얻습니다. 또한, 주간 비디오 프레임 사이에서 광학 유동 추정을 수행하고 GPS 기반 스케일링을 적용하여 또 다른 픽셀 단위의 의사 감독을 획득합니다. 이러한 의사 감독과 신뢰도 맵을 사용하여 야간 이미지에서 어떠한 주석도 없이 야간 의미 분할 네트워크를 훈련시킵니다. 실험 결과는 제안된 방법이 여러 야간 의미 분할 데이터셋에서 효과적임을 입증합니다. 우리의 소스 코드는 https://github.com/jimmy9704/GPS-GLASS 에서 확인 가능합니다.