자기학습 지도형 적대적 도메인 적응을 활용한 열화상 영상 처리

대규모 RGB 이미지 데이터셋으로 훈련된 딥 모델은 놀라운 성공을 거두었다. 이러한 딥 모델을 실제 문제에 적용하는 것이 중요하다. 그러나 이러한 모델은 조도 변화 상황에서 성능 저하를 겪는다. 반면, 열화상(IR) 카메라는 이러한 변화에 더 강건하며, 따라서 실세계 문제 해결에 매우 유용할 수 있다. 가시광선 영역의 풍부한 특징과 열화상 이미지 모달리티를 결합하는 효과를 탐색하기 위해, RGB 이미지와 열화상 이미지 쌍이 필요 없는 비지도 도메인 적응 방법을 제안한다. 본 연구에서는 대규모 RGB 데이터셋인 MS-COCO를 소스 도메인으로, 열화상 데이터셋인 FLIR ADAS를 타겟 도메인으로 활용하여 제안한 방법의 성능을 검증한다. 비록 적대적 도메인 적응 방법은 소스 도메인과 타겟 도메인의 분포를 일치시키는 것을 목표로 하지만, 단순히 분포를 일치시키는 것만으로는 타겟 도메인에 대한 완벽한 일반화를 보장할 수 없다. 이를 해결하기 위해, 적대적 도메인 적응 방법의 일반화 능력을 향상시키기 위한 자기학습 지도적 적대적 도메인 적응 방법을 제안한다. 자기학습을 수행하기 위해, 타겟 열화상 도메인의 샘플에 대해 의사 레이블(pseudo labels)을 부여하여 타겟 도메인에 대해 더 일반화된 표현을 학습한다. 광범위한 실험 분석 결과, 제안한 방법이 최신의 적대적 도메인 적응 방법보다 더 우수한 성능을 달성함을 확인할 수 있다. 코드와 모델은 공개되어 있다.