DIDFuse: 적외선 및 가시광선 이미지 융합을 위한 딥 이미지 분해

적외선 및 가시광선 영상 융합은 영상 처리 분야에서 주목받는 핫 토픽으로, 원본 영상들의 장점을 유지하면서 융합된 영상을 생성하는 것을 목표로 한다. 본 논문에서는 새로운 자동에코더(AE, auto-encoder) 기반의 융합 네트워크를 제안한다. 핵심 아이디어는 인코더가 영상을 배경 특징 맵과 세부 정보 특징 맵으로 분해하여 각각 저주파 및 고주파 정보를 포함하도록 하는 것이며, 디코더는 이를 통해 원본 영상을 복원하는 것이다. 이를 달성하기 위해 손실 함수는 원본 영상의 배경 특징 맵은 유사하게, 세부 정보 특징 맵은 비슷하지 않도록 유도한다. 테스트 단계에서는 배경 및 세부 정보 특징 맵을 각각 융합 모듈을 통해 병합한 후, 디코더를 통해 융합된 영상을 복원한다. 정성적 및 정량적 실험 결과를 통해 제안된 방법이 강한 로버스트성과 함께 강조된 타겟 및 풍부한 세부 텍스처 정보를 포함한 융합 영상을 생성할 수 있으며, 기존 최고 수준(SOTA, state-of-the-art)의 방법들을 초월함을 확인하였다.