초록
기상 조건이 나쁘거나 조명이 낮은 환경에서는 단일 센서가 물체 식별에 필요한 충분한 정보를 캡처하지 못할 수 있다. 기존의 광학 영상에 비해 합성(aperture) 레이더(SAR) 영상은 안개나 연기 등을 통과할 수 있는 능력 등 여러 가지 장점을 지닌다. 그러나 SAR 영상은 해상도가 낮고 고수준의 스펙클 노이즈에 의해 오염되는 문제가 있다. 이러한 이유로 SAR 영상에서 강력하고 견고한 특징을 추출하는 것은 매우 어려운 과제이다. 본 논문에서는 다중 영상 모달리티가 물체 탐지 성능을 향상시킬 수 있는지 탐색하였다. 이를 위해 물체 분류 작업을 위해 두 가지 다른 네트워크 구조인 CMKD-s와 CMKD-m을 제안한다. 특히, CMKD-s는 온라인 지식 증류(online knowledge distillation)를 활용하여 두 센서가 캡처한 정보를 전달함으로써 다중 모달 지식 공유를 실현하고 항공 영상 기반의 물체 분류 모델의 강건성을 향상시킨다. 더불어 반감독 강화 학습을 활용하여 상호 지식 전달을 강화하는 새로운 방법인 CMKD-m을 제안하였다. 정량적 비교 결과, NTIRE2021 SAR-EO 챌린지 데이터셋에서 CMKD-s 및 CMKD-m은 지식 전달이 없는 기존 방법보다 우수한 성능을 보였다.