야간에 더 명확하게 보다: 주간-야간 이미지 변환을 통한 강건한 야간 의미 분할 연구

현재, 의미 분할은 주간 장면과 같은 유리한 조명 조건에서 뛰어난 효율성과 신뢰성을 보여주고 있습니다. 그러나 야간과 같은 불리한 조건에서는 의미 분할의 정확도가 크게 저하됩니다. 이 문제의 주요 원인 중 하나는 야간 장면에 대한 충분한 주석이 달린 분할 데이터셋 부족입니다. 본 논문에서는 생성적 적대 네트워크(Generative Adversarial Networks, GANs)를 사용하여 불리한 조건에서 의미 분할의 정확도 하락을 완화하는 프레임워크를 제안합니다. 주간과 야간 이미지 영역 간의 차이를 줄이기 위해, 우리는 불리한 조건의 데이터셋보다는 BDD와 우리 자체 수집한 ZJU 데이터셋과 같이 유리한 조건의 데이터셋이 상당히 많이 있다는 중요한 관찰을 했습니다.우리의 GAN 기반 야간 의미 분할 프레임워크는 두 가지 방법을 포함합니다. 첫 번째 방법에서는 GANs를 사용하여 야간 이미지를 주간으로 변환하여, 이미 주간 데이터셋에서 학습된 강력한 모델을 사용하여 의미 분할을 수행합니다. 다른 방법에서는 GANs를 사용하여 데이터셋 내 주간 이미지를 다양한 비율로 야간으로 변환하지만 여전히 라벨은 유지합니다. 이 경우, 합성 야간 분할 데이터셋을 생성하여 야간 조건에서도 강력하게 작동하는 모델을 얻을 수 있습니다. 실험 결과, 후자의 방법은 교차비(IoU)와 픽셀 정확도(Acc)를 통해 양적으로 증명된 바와 같이 야간 성능을 크게 향상시킵니다. 또한, 합성 야간 이미지의 비율에 따라 성능이 변화하며, 이 중 가장 효과적인 비율은 일일 및 야간에 걸쳐 가장 강력한 성능을 나타냅니다.