비지도 다중 대상 영역 적응을 통한 지식 증류

비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)은 대상 도메인에서 얻은 라벨이 없는 데이터의 분포와 출처 도메인에서 얻은 라벨이 있는 데이터의 분포 사이의 도메인 이동 문제를 완화하는 것을 목표로 합니다. 단일 대상 UDA 시나리오는 문헌에서 잘 연구되어 있지만, 다중 대상 도메인 적응(Multi-Target Domain Adaptation, MTDA)은 실용적인 중요성에도 불구하고 여전히 많이 탐구되지 않았습니다. 예를 들어, 다중 카메라 비디오 감시 응용 프로그램에서 이러한 문제가 발생할 수 있습니다. 각 대상 도메인에 대해 전문 모델을 개별적으로 적응시키는 방법으로 MTDA 문제를 해결할 수 있지만, 이 해결책은 많은 실제 응용 프로그램에서 너무 비싸다는 단점이 있습니다. 다중 대상을 혼합하여 MTDA를 수행하는 방법이 제안되었지만, 이 방법은 모델의 특화성과 정확도가 감소할 수 있다는 문제점을 가지고 있습니다.본 논문에서는 여러 대상 도메인에 걸쳐 잘 일반화할 수 있는 CNN을 훈련시키기 위한 새로운 비지도 MTDA 접근법을 제안합니다. 제안된 다중 교사 MTDA(Multi-Teacher MTDA, MT-MTDA) 방법은 다중 교사 지식 증류(Knowledge Distillation, KD)를 기반으로 하며, 여러 교사로부터 특정 대상에 대한 도메인 적응 지식을 공통 학생 모델로 순차적으로 증류합니다. KD 과정은 진행 방식으로 수행되며, 학생 모델은 각 교사로부터 특정 대상에 대한 UDA 수행 방법을 배우게 됩니다. 즉, 직접 도메인 적응된 특성을 학습하는 것이 아니라, 각 교사로부터 차례대로 지식을 증류받음으로써 각 대상(교사)의 특화성을 유지하면서 학습됩니다.MT-MTDA는 여러 어려운 UDA 벤치마크에서 최신 기술(state-of-the-art) 방법들과 비교되었으며, 경험적 결과는 제안된 모델이 여러 대상 도메인에서 상당히 높은 정확도를 제공함을 보여줍니다. 본 논문의 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/LIVIAETS/MT-MTDA