초록
세마틱 세그멘테이션은 자율주행 차량에 있어 핵심적인 기능이다. 최근 딥러닝 기술의 발전에 따라 많은 효과적인 세마틱 세그멘테이션 네트워크가 제안되어 왔다. 그러나 대부분의 네트워크는 가시광선 카메라에서 얻은 RGB 이미지를 기반으로 설계되어 있다. RGB 이미지의 품질은 어두운 환경이나 대향 차량의 헤드라이트로 인한 반사광 등 불량한 조명 조건에서 크게 저하되기 쉬우며, 이는 오직 RGB 이미지만을 사용하는 네트워크에 대해 극도로 도전적인 과제를 제기한다. 가시광선 카메라와 달리 열화상 카메라는 열복사 에너지를 이용해 이미지를 생성한다. 이는 다양한 조명 조건에서도 시각 정보를 확보할 수 있도록 해준다. 자율주행 차량을 위한 강건하고 정확한 세마틱 세그멘테이션을 실현하기 위해, 본 연구는 열화상 이미지의 장점을 활용하고, 새로운 딥 신경망을 통해 RGB 이미지와 열화상 정보를 융합한다. 본 논문의 주요 혁신은 제안된 네트워크의 아키텍처에 있다. 우리는 인코더-디코더 구조를 채택하였으며, 특징 추출에는 ResNet을 사용하고, 특징 맵의 해상도를 복원하기 위해 새로운 디코더를 개발하였다. 실험 결과는 제안된 네트워크가 기존 최고 수준의 기법들을 능가함을 입증하였다.