IGFNet: RGB-열화 이미지를 활용한 정량적 장면 이해를 위한 조명 지도형 융합 네트워크

세밀한 장면 이해는 자율 주행을 위한 핵심 과제이며, 다양한 후속 작업의 기초가 된다. 어려운 조명 조건 하에서 열화상 이미지는 RGB 이미지에 보완적인 정보를 제공할 수 있다. 이러한 특성을 활용해 RGB-열화상 데이터를 사용한 다중 모달 융합 네트워크가 다수 제안되어 왔다. 그러나 현재 최첨단 방법들은 RGB 이미지와 열화상 이미지의 본질적 특성을 고려하지 않고, 단순히 다중 모달 특징을 융합하는 방식을 사용하고 있다. 이 문제를 해결하기 위해, 우리는 조도 추정 모듈이 생성한 가중 마스크를 활용하여 각 단계에서 RGB 및 열화상 특징 맵에 가중치를 적용하는 조도 지도형 융합 네트워크인 IGFNet을 제안한다. 실험 결과, MFNet 데이터셋에서 제안한 네트워크가 기존 최첨단 방법들을 능가함을 확인하였다. 코드는 다음 주소에서 공개되어 있다: https://github.com/lab-sun/IGFNet.