EGFNet: RGB–열화상 도시 환경 분할을 위한 에지 인지 가이던스 융합 네트워크

도시 환경 분할은 지능형 교통 시스템의 핵심 요소이며, 최근 컴퓨터 비전 분야에서 RGB-열화상 도시 환경 분할에 대한 연구 관심이 점차 증가하고 있다. 그러나 기존의 대부분의 방법들은 예측 맵의 경계 추출 성능이 낮으며, 고수준 특징을 충분히 활용하지 못하는 한계를 가지고 있다. 또한 이러한 방법들은 RGB와 열화상 모달리티의 특징을 단순히 융합할 뿐, 종합적인 융합 특징을 얻는 데는 실패하고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 RGB-열화상 도시 환경 분할을 위한 엣지 인식 가이드 융합 네트워크(Edge-aware Guidance Fusion Network, EGFNet)를 제안한다. 먼저, RGB 및 열화상 이미지를 기반으로 사전 엣지 맵을 생성하여 예측 맵 내의 세부 정보를 포착하고, 이를 특징 맵에 사전 엣지 정보로 삽입한다. RGB와 열화상 정보를 효과적으로 융합하기 위해 다중 모달 융합 모듈을 설계하였으며, 이는 충분한 크로스 모달 융합을 보장한다. 고수준 의미 정보의 중요성을 고려하여, 전역적 및 의미 정보 모듈을 제안하여 고수준 특징에서 풍부한 의미 정보를 추출한다. 디코딩 과정에서는 단순한 원소별 덧셈을 이용하여 연속적인 특징 융합을 수행한다. 마지막으로, 분할 정확도를 향상시키기 위해 의미 맵과 경계 맵에 다중 태스크 심층 감독을 적용한다. 제안된 EGFNet의 효과성을 입증하기 위해 벤치마크 데이터셋을 기반으로 광범위한 실험을 수행하였으며, 기존 최첨단 방법들과 비교하여 우수한 성능을 보였다.