RGB-열 감지 과제를 위한 명시적 주의력 향상 융합

최근, RGB-열화상 기반 인식 분야에서 상당한 발전이 이루어졌습니다. 열 정보는 시각 카메라가 저조명 및 안개와 같은 불량 조건에서 영향을 받을 때 유용한 단서를 제공합니다. 그러나, RGB 이미지와 열 데이터를 효과적으로 융합하는 방법은 여전히 해결되지 않은 과제입니다. 이전 연구에서는 입력 단계에서 합치기, 모델 내부에서 다중 모드 특성을 연결하기, 또는 각 데이터 모드에 주의력을 적용하는 등의 단순한 융합 전략을 사용했습니다. 이러한 융합 전략들은 직관적이지만 충분하지 않습니다. 본 논문에서는 각 데이터 유형의 장점을 최대한 활용하는 새로운 융합 방법인 명시적 주의력 강화 융합(Explicit Attention-Enhanced Fusion, EAEF)을 제안합니다. 구체적으로 다음과 같은 경우들을 고려하였습니다: i) RGB 데이터와 열 데이터 모두, ii) 두 유형 중 하나의 데이터만, iii) 둘 다 차별적인 특성을 생성하지 못하는 경우. EAEF는 i)와 iii)에 대한 특성 추출을 강화하는 한 가지 분기를 사용하고, ii)에 대한 부족한 표현을 보완하는 다른 분기를 사용합니다. 두 분기의 출력은 상호 보완적인 특성을 형성하도록 융합됩니다. 그 결과로 제안된 융합 방법은 의미 세그멘테이션(mIoU)에서 1.6%, 주요 객체 검출(MAE)에서 3.1%, 객체 검출(mAP)에서 2.3%, 군중 계산(MAE)에서 8.1% 개선된 성능을 보여주며 기존 최신 기술(state-of-the-art)을 능가하였습니다. 코드는 https://github.com/FreeformRobotics/EAEFNet 에서 확인할 수 있습니다.