마스크된 사전 훈련과 공동 자기 훈련을 통한 비지도 영상 도메인 적응

본 연구에서는 비디오 행동 인식을 위한 비지도 도메인 적응(UDA) 문제에 도전한다. 제안하는 방법인 UNITE는 이미지 교사 모델을 활용하여 비디오 학습자 모델을 타겟 도메인에 적응시키는 방식이다. UNITE는 먼저, 교사 모델이 안내하는 마스킹 디스틸레이션 목적함수를 사용하여 타겟 도메인 비디오에 대해 구분 능력 있는 특징 학습을 유도하기 위해 자기지도 사전 학습을 수행한다. 이후, 비디오 학습자 모델과 이미지 교사 모델을 함께 활용하여 마스킹된 타겟 데이터에 대해 자기 학습을 수행함으로써, 레이블이 없는 타겟 비디오에 대해 개선된 의사 레이블(pseudolabels)을 생성한다. 본 연구의 자기 학습 과정은 두 모델의 장점을 효과적으로 활용하여 도메인 간 강력한 전이 성능을 달성한다. 제안한 방법은 다양한 비디오 도메인 적응 벤치마크에서 평가되었으며, 기존 보고된 결과에 비해 상당한 성능 향상을 확인할 수 있었다.