대조와 혼합: 배경 혼합을 활용한 시계열 대조적 비디오 도메인 적응

최근 몇 년 동안, 라벨이 부착된 소스 도메인에서 훈련된 모델을 완전히 라벨이 없는 대상 도메인에 적응시키는 비지도 도메인 적응이 많은 주목을 받고 있습니다. 이미지에 대한 많은 도메인 적응 기술이 제안되었지만, 비디오에서의 비지도 도메인 적응 문제는 여전히 충분히 연구되지 않았습니다. 본 논문에서는 Contrast and Mix (CoMix)라는 새로운 대조 학습 프레임워크를 소개합니다. 이 프레임워크는 비지도 비디오 도메인 적응을 위해 차별적인 불변 특성 표현을 학습하는 것을 목표로 합니다.첫째, 기존 방법들이 특성 정렬을 위해 적대적 학습에 의존하는 것과 달리, 우리는 시간적 대조 학습을 활용하여 두 가지 다른 속도에서 인코딩된 표현 간의 유사성을 최대화하고, 서로 다른 비디오가 다른 속도로 재생될 때 그들 간의 유사성을 최소화함으로써 도메인 간의 격차를 줄입니다. 둘째, 우리는 배경 혼합을 사용하여 앵커당 추가적인 양성을 허용함으로써 시간적 대조 손실에 대한 새로운 확장을 제안합니다. 이를 통해 대조 학습은 두 도메인 모두에서 공유되는 행동 의미론(action semantics)을 활용할 수 있게 됩니다. 또한, 우리는 대상 가짜 라벨(target pseudo-labels)을 사용한 지도 대조 학습 목적 함수를 통합하여 비디오 도메인 적응을 위한 잠재 공간(latent space)의 차별성을 강화하였습니다.여러 벤치마크 데이터셋에 대한 광범위한 실험 결과는 우리 제안 방식이 기존 최신 방법들보다 우수함을 입증하였습니다. 프로젝트 페이지: https://cvir.github.io/projects/comix