다중 스펙트럼 융합을 이용한 객체 검출을 위한 순환 융합 및 정제 블록

다중 스펙트럼 이미지(예: 가시광 및 적외선)는 동일한 모델의 객체를 서로 다른 환경(예: 주간/야간 실외 장면)에서 감지할 때 특히 유용할 수 있습니다. 다양한 스펙트럼을 효과적으로 활용하기 위한 주요 기술적 문제는 정보 융합 과정에 있습니다. 본 논문에서는 신경망에서 다중 스펙트럼 특성 내에 존재하는 보완성/일관성 균형을 활용하기 위해 네트워크 구조에 주기적으로 각 스펙트럼 특성을 융합하고 정제하는 특정 모듈을 추가하는 새로운 중간 특성 융합 방법을 제안합니다. 우리는 제안된 융합 방법의 효과를 객체 감지를 위한 두 개의 도전적인 다중 스펙트럼 데이터셋에서 평가하였습니다. 결과는 우리의 주기적 융합 및 정제(Cyclic Fuse-and-Refine) 모듈을 어떤 네트워크에도 구현하면 다른 최신 다중 스펙트럼 객체 감지 방법들보다 두 데이터셋 모두에서 성능이 향상됨을 보여줍니다.